我正在尝试keras使用多个线程(和tensorflow后端)训练具有不同参数值的多个模型.我已经看到了在多个线程中使用相同模型的一些示例,但在这种特殊情况下,我遇到了有关冲突图等的各种错误.这是我希望能够做的一个简单示例:
from concurrent.futures import ThreadPoolExecutor
import numpy as np
import tensorflow as tf
from keras import backend as K
from keras.layers import Dense
from keras.models import Sequential
sess = tf.Session()
def example_model(size):
model = Sequential()
model.add(Dense(size, input_shape=(5,)))
model.add(Dense(1))
model.compile(optimizer='sgd', loss='mse')
return model
if __name__ == '__main__':
K.set_session(sess)
X = np.random.random((10, 5))
y = np.random.random((10, 1))
models = [example_model(i) for i in range(5, 10)]
e = ThreadPoolExecutor(4)
res_list = [e.submit(model.fit, X, y) for model in models]
for …Run Code Online (Sandbox Code Playgroud) concurrency multithreading python-multithreading keras tensorflow
作为使scikit-image示例库交互的努力的一部分,我想构建一个Web服务,它接收Python代码片段,执行它,并为我提供生成的输出图像.
为了安全起见,启动的Python实例应该是沙盒和资源控制的,所以我考虑使用LXC容器.
这是解决问题的好方法吗?如果是这样,每个请求启动一个Python VM的推荐方法是什么?
通常,当使用large时dask.DataFrame,仅获取几行以测试所有后续操作将很有用。
当前,根据“ 切片Dask数据帧”,此功能不受支持。
head来实现相同的功能(因为支持该命令),但是它返回一个常规的熊猫DataFrame。df[:1000]执行,但是生成的输出与您从Pandas期望的输出不同。有没有办法从a抓取前1000行dask.DataFrame?