cjm*_*671 4 python multithreading python-multithreading pandas
我正在 intel i3(四核)上使用 Pandas 0.18/Python 3.5 编写代码。
我读过这个: https: //www.continuum.io/content/pandas-releasing-gil
我还有一些 IO 绑定的工作(将 CSV 文件解析为数据帧)。我必须进行大量计算,其中大部分是乘以数据帧。
我的代码目前是并行使用的concurrent.futures ThreadPoolExecutor。
我的问题是:
从阅读文档中我可以看出,pandas只是为某些操作释放了 GIL:
我们正在释放一些 cython 操作的全局解释器锁(GIL)。这将允许其他线程在计算期间同时运行,从而有可能提高多线程的性能。值得注意的是
groupby,nsmallest、value_counts和一些索引操作受益于这一点。
这意味着 Python 解释器可以执行其他线程,同时 pandas 的计算仍在继续。这并不意味着 pandas 会自动跨多个线程扩展计算。他们也在文档中提到了这一点:
释放 GIL 可以使使用线程进行用户交互(例如 QT)或执行多线程计算的应用程序受益。
为了获得并行化的好处,您实际上需要在自己的代码中创建和执行多个线程。因此,ThreadPoolExecutor如果您尝试在应用程序中获得并行执行,则应该继续使用。
请记住,pandas 仅释放某些操作的 GIL,因此如果您不调用任何实际释放 GIL 的方法,则可能无法获得多线程的性能改进。
| 归档时间: |
|
| 查看次数: |
3458 次 |
| 最近记录: |