有没有理由在多处理模块上使用Ipyparallel用于常见的python脚本(不是ipython notebook)？

Question

是否有任何理由使用Ipyparallel用于常见的python脚本(不是ipython notebook)？

Answer 1

您可以选择IPython并行的原因有几个,这可能与您相关或不相关:

1. 有些东西IPython并行可以有效地序列化(numpy数组)多处理不能很好地处理,因为它会腌制所有东西
2. IPython parallel可以在多台机器上分配工作,多处理不能.
3. IPython并行管理每个引擎上的持久交互式命名空间(一个完整的IPython会话),这对于组合工作和调试很有用.

通常,如果您只是尝试在多核计算机上并行化少量代码,那么IPython parallel并不能为您提供多处理,并且启动和连接到IPython集群的负担是不值得的.但是如果你想将它分发到更多的机器上,那么IPython parallel会让你这样做.而且,无论您使用的是一台计算机还是一百台,它的工作方式都相同,您可以在笔记本电脑上进行原型设计,然后在更大规模上运行完全相同的代码而无需任何更改.