气流远程记录无法正常工作

Question

我有一个正在运行的Apache - Airflow 1.8.1实例.

我有一个工作连接(和它的ID)写入Google云端存储,我的气流用户有权写入存储桶.

我尝试通过添加使用远程日志存储功能

remote_base_log_folder = 'gs://my-bucket/log'

remote_log_conn_id = 'my_working_conn_id'

这就是全部(我没有触及任何配置,但那)

我重新启动了所有服务,但日志没有上传到gcs(我的存储桶仍然是空的),我的文件系统空间仍在减少.

您是否已使用gcs成功启用远程日志？如果是的话,你改变了什么/做了什么？

Answer 1

我设法将远程日志发送到GCS.首先,您需要授予服务帐户写入GCS存储桶的权限.

这是我的GCP连接设置:

然后,编辑airflow.cfg文件:

remote_base_log_folder = gs://my-backup/airflow_logs
remote_log_conn_id = my_gcp_conn

编辑配置文件后,需要重新初始化它:

airflow initdb

# start the web server, default port is 8080
airflow webserver -p 8080

通过打开"教程"DAG进行测试,您应该能够在GCS中本地和远程查看日志: