小编Ami*_*mar的帖子

我最近将气流版本从气流1.8升级到apache-airflow 1.9,升级成功了,我使用Celery Executor扩展了环境,一切似乎工作正常但是dag和任务开始日期,执行日期等都出现在UTC时区和计划的dags以UTC格式运行,在升级之前它们曾经以本地时区(即pdt)运行.

关于如何将pdt作为气流中的默认时区的任何想法？

我已经尝试使用default_timezone在airflow.cfg给default_timezone = pdt,但即使重新启动所有的服务,其调度DAG和任务UTC之后.期待您的帮助,将默认时区修改为pdt.

我应该如何配置或从airflow 1.9发送任务日志到弹性搜索？我在当前的git存储库中找到了配置模板,但不确定是否可以在v 1.9中完成

如何根据上游任务返回的列表动态生成任务。

我尝试了以下方法：

使用外部文件从列表中写入和读取 - 此选项有效，但我正在寻找更优雅的解决方案。

Xcom 拉进一个 subdag 工厂。这是行不通的。我能够将一个列表从上游任务传递给一个 subdag，但是 xcom 只能在 subdag 的任务内部访问，并且不能用于循环/迭代返回的列表并生成任务。例如 subdag 工厂方法。

 def subdag1(parent_dag_name, child_dag_name, default_args,**kwargs):
    dag_subdag = DAG(
        dag_id='%s.%s' % (parent_dag_name, child_dag_name),
        default_args=default_args,
        schedule_interval="@once",
    )
    list_files='{{ task_instance.xcom_pull( dag_id="qqq",task_ids="push")}}'
    for newtask in list_files:
        BashOperator(
            task_id='%s-task-%s' % (child_dag_name,   'a'),
            default_args=default_args,
            bash_command= 'echo '+ list_files + newtask,
            dag=dag_subdag,
        )
    return dag_subdag

可以发布到 AWS-SNS 的消息的最大大小有 256KB 的限制。我们可以使用 GZIP 压缩消息并发送发布压缩消息以克服大小限制吗？