气流 - 如何将任务日志发送到弹性搜索？

Question

我应该如何配置或从airflow 1.9发送任务日志到弹性搜索？我在当前的git存储库中找到了配置模板,但不确定是否可以在v 1.9中完成

Answer 1

据我了解您的问题，您是在询问是否可以简单地配置 Airflow 将其日志直接发送到 Elastic。

参考

这——至少对于 v.1.9.0 来说——不是一个简单的配置问题。尽管配置文件中说您可以将数据写入Elastic，但我找不到

1）建立正确的ElasticSearch连接的方法

2) Airflow 存储库中使用这些设置将日志推送到 Web 界面或 ElasticSearch 的任何代码

在我看来，这将是未来的一个新功能，作为参考，请参阅：https ://issues.apache.org/jira/browse/AIRFLOW-1454

结论

因此，当前执行此操作的标准方法是将 Airflow 日志记录到特定文件夹，通常如下设置airflow.cfg：

base_log_folder = {AIRFLOW_HOME}/logs

然后使用典型的设置（例如 FileBeat）将这些日志（根据您的设置）直接发送到 Elastic 或 Logstash 中。