有没有办法在IPython笔记本中同时运行多个单元格？

Question

我的笔记本中的一个单元格执行了很长时间,而机器中的其他CPU则处于空闲状态.是否可以并行运行其他单元格？

Answer 1

不是神奇的,可能不是你的想法但是是的.以下是 ipyparallel(以前IPython parallel)的文档,它将向您展示如何生成多个IPython内核.在您可以自由地跨核心分配工作之后,您可以在单元格前加上%%px0 %%px1... %%px999(一旦设置)以在特定引擎上执行单元格,这实际上对应于单元格的并行执行.我想建议看看Dask.

Answer 2

这并不能直接回答你的问题，但我认为它会帮助很多有同样问题的人。您可以轻松地在笔记本之间移动变量，然后继续在另一个笔记本上运行函数，然后将结果移回主笔记本。

例如：

笔记本1：

%store X
%store y

笔记本2：

%store -r X
%store -r y

new_df = ...
%store new_df

笔记本1：

%store -r new_df