Luigi Python 中的资源是什么？

Question

在 Web 界面和https://github.com/spotify/luigi/blob/master/luigi/task.py 中，我可以看到任务可以具有“资源”。在 Task 类中还有一个名为 process_resources() 的占位符函数，它只返回作为资源的空字典。

这是什么神话资源？

Answer 1

我还没有测试过这个，但它看起来像是一个任意值，调度程序可以使用它来确定是否根据配置中的值限制作业。来自文档：

该部分可以包含任意键。其中每一个都指定调度程序可以允许工作人员使用的全局资源的数量。调度程序将防止使用指定资源运行的作业超出本节中的计数。假定未指定的资源具有限制 1。具有 2 个 hive 资源和 1 个 mysql 资源的配置的示例资源部分：

[resources]
hive: 2
mysql: 1

请注意，这里没有必要为 mysql 指定 1，但当您拥有一组固定的资源时，最好这样做。