我正在尝试使用ipython并行库中的并行计算。但是我对此几乎一无所知,而且我发现很难从对并行计算一无所知的人那里阅读该文档。
有趣的是,我发现的所有教程都只是重复使用该文档中的示例,并且具有相同的解释,按照我的观点,这是没有用的。
基本上我想做的是在后台运行几个脚本,以便它们可以同时执行。在bash中,它将类似于:
for my_file in $(cat list_file); do
python pgm.py my_file &
done
Run Code Online (Sandbox Code Playgroud)
但是Ipython notebook的bash解释器无法处理后台模式。
看来解决方案是使用ipython的并行库。
我试过了 :
from IPython.parallel import Client
rc = Client()
rc.block = True
dview = rc[:2] # I take only 2 engines
Run Code Online (Sandbox Code Playgroud)
但是后来我被困住了。我不知道如何同时运行同一脚本或pgm两次(或多次)。
谢谢。
parallel-processing ipython ipython-notebook ipython-parallel jupyter