小编Ste*_*alt的帖子

TensorFlow/Keras多线程模型拟合

我正在尝试keras使用多个线程(和tensorflow后端)训练具有不同参数值的多个模型.我已经看到了在多个线程中使用相同模型的一些示例,但在这种特殊情况下,我遇到了有关冲突图等的各种错误.这是我希望能够做的一个简单示例:

from concurrent.futures import ThreadPoolExecutor
import numpy as np
import tensorflow as tf
from keras import backend as K
from keras.layers import Dense
from keras.models import Sequential


sess = tf.Session()


def example_model(size):
    model = Sequential()
    model.add(Dense(size, input_shape=(5,)))
    model.add(Dense(1))
    model.compile(optimizer='sgd', loss='mse')
    return model


if __name__ == '__main__':
    K.set_session(sess)
    X = np.random.random((10, 5))
    y = np.random.random((10, 1))
    models = [example_model(i) for i in range(5, 10)]

    e = ThreadPoolExecutor(4)
    res_list = [e.submit(model.fit, X, y) for model in models]

    for …
Run Code Online (Sandbox Code Playgroud)

concurrency multithreading python-multithreading keras tensorflow

23
推荐指数
1
解决办法
8534
查看次数

如何使用一个沙盒Python(VM)为每个请求构建Web服务

作为使scikit-image示例库交互的努力的一部分,我想构建一个Web服务,它接收Python代码片段,执行它,并为我提供生成的输出图像.

为了安全起见,启动的Python实例应该是沙盒和资源控制的,所以我考虑使用LXC容器.

这是解决问题的好方法吗?如果是这样,每个请求启动一个Python VM的推荐方法是什么?

python sandbox virtual-machine lxc

4
推荐指数
1
解决办法
751
查看次数

从`dask.DataFrame`中切出几行

通常,当使用large时dask.DataFrame,仅获取几行以测试所有后续操作将很有用。

当前,根据“ 切片Dask数据帧”,此功能不受支持。

  • 我希望然后使用它head来实现相同的功能(因为支持该命令),但是它返回一个常规的熊猫DataFrame。
  • 我也尝试过df[:1000]执行,但是生成的输出与您从Pandas期望的输出不同。

有没有办法从a抓取前1000行dask.DataFrame

dask

2
推荐指数
1
解决办法
1439
查看次数