相关疑难解决方法(0)

ipython Notebook:如何并行化外部脚本

我正在尝试使用ipython并行库中的并行计算。但是我对此几乎一无所知,而且我发现很难从对并行计算一无所知的人那里阅读该文档。

有趣的是,我发现的所有教程都只是重复使用该文档中的示例,并且具有相同的解释,按照我的观点,这是没有用的。

基本上我想做的是在后台运行几个脚本,以便它们可以同时执行。在bash中,它将类似于:

for my_file in $(cat list_file); do
    python pgm.py my_file &
done
Run Code Online (Sandbox Code Playgroud)

但是Ipython notebook的bash解释器无法处理后台模式。

看来解决方案是使用ipython的并行库。

我试过了 :

from IPython.parallel import Client
rc = Client()
rc.block = True
dview = rc[:2] # I take only 2 engines
Run Code Online (Sandbox Code Playgroud)

但是后来我被困住了。我不知道如何同时运行同一脚本或pgm两次(或多次)。

谢谢。

parallel-processing ipython ipython-notebook ipython-parallel jupyter

4
推荐指数
1
解决办法
3661
查看次数