Pandas、Concurrent.Futures 和 GIL

cjm*_*671 4 python multithreading python-multithreading pandas

我正在 intel i3(四核)上使用 Pandas 0.18/Python 3.5 编写代码。

我读过这个: https: //www.continuum.io/content/pandas-releasing-gil

我还有一些 IO 绑定的工作(将 CSV 文件解析为数据帧)。我必须进行大量计算,其中大部分是乘以数据帧。

我的代码目前是并行使用的concurrent.futures ThreadPoolExecutor。

我的问题是:

  • 一般来说,我应该使用线程并行运行 pandas 作业,还是 pandas 是否有效地利用所有核心而无需我明确告诉它?(在这种情况下,我将连续执行我的工作)。

dan*_*ano 5

从阅读文档中我可以看出,pandas只是为某些操作释放了 GIL:

我们正在释放一些 cython 操作的全局解释器锁(GIL)。这将允许其他线程在计算期间同时运行,从而有可能提高多线程的性能。值得注意的是groupby,nsmallest、value_counts和一些索引操作受益于这一点。

这意味着 Python 解释器可以执行其他线程,同时 pandas 的计算仍在继续。这并不意味着 pandas 会自动跨多个线程扩展计算。他们也在文档中提到了这一点:

释放 GIL 可以使使用线程进行用户交互(例如 QT)或执行多线程计算的应用程序受益。

为了获得并行化的好处,您实际上需要在自己的代码中创建和执行多个线程。因此,ThreadPoolExecutor如果您尝试在应用程序中获得并行执行,则应该继续使用。

请记住,pandas 仅释放某些操作的 GIL,因此如果您不调用任何实际释放 GIL 的方法,则可能无法获得多线程的性能改进。