在我的DAG文件中,我定义了一个on_failure_callback()函数,以便在发生故障时发布Slack.
如果我为DAG中的每个运算符指定它,它运行良好:on_failure_callback = on_failure_callback()
有没有办法自动化(例如通过default_args,或通过我的DAG对象)调度到我的所有运营商？
我想通过 DoFn 向在 Dataflow 上运行的 Apache Beam Pipeline 发出 POST 请求。
为此，我创建了一个客户端，它实例化在 PoolingHttpClientConnectionManager 上配置的 HttpClosableClient。
但是，我为我处理的每个元素实例化一个客户端。
我如何设置一个由我的所有元素使用的持久客户端？
还有其他我应该使用的并行和高速 HTTP 请求类吗？
我有一个正在运行的Apache - Airflow 1.8.1实例.
我有一个工作连接(和它的ID)写入Google云端存储,我的气流用户有权写入存储桶.
我尝试通过添加使用远程日志存储功能
remote_base_log_folder = 'gs://my-bucket/log'
remote_log_conn_id = 'my_working_conn_id'
这就是全部(我没有触及任何配置,但那)
我重新启动了所有服务,但日志没有上传到gcs(我的存储桶仍然是空的),我的文件系统空间仍在减少.
您是否已使用gcs成功启用远程日志？如果是的话,你改变了什么/做了什么？
我有一个Apache Beam管道成功运行作为数据流模板.但是,我有一个选项类(扩展DataflowPipelineOptions).生成模板时,此类从pom或命令行界面获取参数.我想知道是否存在某个类,以便我可以直接从属性文件中加载这些参数.这样,从环境切换到环境会更容易,而且更干净