Python TPL 数据流模拟

Question

python 世界中是否有 .NET TPL 数据流的类似物？

\n\n

\n

Dataflow 是一个库，您可以在其中将 \xe2\x80\x9cblocks\xe2\x80\x9d 连接到每个库以创建管道（或图形）。有不同类型的块提供不同的功能并且可以同时操作。https://www.blinkingcaret.com/2019/05/15/tpl-dataflow-in-net-core-in-depth-part-1/

\n

\n

Answer 1

有很多框架可以实现这一点，有免费的也有商业的。

最重要的是 Dagster和 Airflow。他们专注于在可行的情况下并行调度任务，然后将结果汇总到最终任务中，在任务 图末尾附近收集所有这些结果。 Dask是这个领域的另一个条目。