Dataproc Spark 运算符如何返回值以及如何捕获和返回该值

Question

Airflow 中的 Dataproc Spark 运算符如何返回值以及如何捕获该值。

我有一个下游作业来捕获此结果，并根据返回的值，我必须通过分支操作员触发另一个作业。

Answer 1

简单的答案是你不能。Dataproc 作业不支持返回任何变量以及日志回气流。

您可以尝试一种解决方法。

您的 dataproc 作业会将文件中的任何输出写回airflow dga 存储桶，以便您的 dag 可以本地读取该文件（或者您可以在临时存储桶上写入文件，然后从那里下载文件并读取）。