如何查看Dask Compute任务的进度？

Question

我想在Jupyternotebook上看到一个进度条,当我使用Dask运行计算任务时,我正在计算一个大的csv文件+ 4GB的"id"列的所有值,所以任何想法？

import dask.dataframe as dd

df = dd.read_csv('data/train.csv')
df.id.count().compute()

Answer 1

如果您正在使用单机调度程序,请执行以下操作:

from dask.diagnostics import ProgressBar
ProgressBar().register()

http://dask.pydata.org/en/latest/diagnostics-local.html

如果您使用的是分布式调度程序,请执行以下操作:

from dask.distributed import progress

result = df.id.count.persist()
progress(result)

或者只使用仪表板

http://dask.pydata.org/en/latest/diagnostics-distributed.html