如何将 Airflow 与 Github 集成以运行脚本

Question

如果我们在 github 存储库帐户中维护我们的代码/脚本，有没有办法从 Github 存储库复制这些脚本并在其他集群（可以是 Hadoop 或 Spark）上执行。

气流是否提供任何操作员来连接到 Github 以获取此类文件？

在 Github 中维护脚本将提供更大的灵活性，因为代码中的每一个更改都将直接从那里反映和使用。

关于这种情况的任何想法都会真正有帮助。

Answer 1

您可以使用GitPython作为 PythonOperator 任务的一部分，以按照指定的计划运行拉取。

import git 

g = git.cmd.Git( git_dir )
g.pull()

不要忘记确保您已添加相关密钥，以便气流工作人员有权提取数据。