完善如何等待外部依赖

Question

我有一个完美的流程，我想在出现特定文件时运行该流程。使用像 Luigi 这样的东西，您可以创建一个输出该文件的外部任务，然后对其施加依赖。Prefect 中的标准模式是什么？

Answer 1

根据您的用例，有几个选项：

• 创建等待任务：在这种情况下，您可以为流程编写一个根任务，等待满足外部依赖项/条件，然后返回。只要其他任务依赖于此任务，它们就不会运行，直到该任务完成。
• 使用 GraphQL API：Prefect Server 和 Cloud 都有功能齐全的 GraphQL API，用于通过流程和运行执行许多常见操作。在这种情况下，create_flow_run只要满足外部条件（可能使用Parameter描述条件的值），您就可以调用来创建流的临时运行。有关此模式的更多讨论，请查看此 stackoverflow 问题