使用 Pub/Sub 消息触发 Cloud Composer DAG

Question

我正在尝试创建一个通过 Pub/Sub 消息触发的 Cloud Composer DAG。Google 提供了以下示例，每次 Cloud Storage 存储桶中发生更改时都会触发 DAG： https://cloud.google.com/composer/docs/how-to/using/triggering-with-gcf

然而，一开始他们就说you can trigger DAGs in response to events, such as a change in a Cloud Storage bucket or a message pushed to Cloud Pub/Sub。我花了很多时间尝试弄清楚如何做到这一点，但没有结果。

您能帮忙或给我一些指示吗？谢谢！

Answer 1

有两种方法可以通过 Pub/Sub 事件触发 DAG。

1. 您可以放置​​一个PubSubPullSensor放置在 DAG 的开头。每次 PubSubPullSensor 拉取 Pub/Sub 消息时，您的 DAG 都会被触发。它将执行 DAG 中的其余任务。
2. 您还可以创建充当 Pub/Sub 触发器的 Cloud Function。并将Composer DAG触发逻辑放在Cloud Function触发器内部。当消息发布到 Pub/Sub 主题时，云功能应该能够触发 Composer DAG。