小编iam*_*dor的帖子

如何记录 Airflow DAG 的输出以进行调试?

我正在编写一个 Airflow DAG 并且在一个函数上遇到了一些问题。我正在尝试通过将数据打印到标准输出并使用logging库来进行调试。

我的示例 DAG 是:

    from datetime import timedelta
    
    import airflow
    import logging
    
    from airflow.models import DAG
    from airflow.operators.dummy_operator import DummyOperator
    from airflow.contrib.hooks.datadog_hook import DatadogHook
    
    def datadog_event(title, text, dag_id, task_id):
        hook = DatadogHook()
        tags = [
            f'dag:{dag_id}',
            f'task:{task_id}',
        ]
    
        hook.post_event(title, text, tags)
    
    def datadog_event_success(context):
        dag_id = context['task_instance'].dag_id
        task_id = context['task_instance'].task_id
        text = f'Airflow DAG failure for {dag_id}\n\nDAG: {dag_id}\nTasks: {task_id}'
        title = f'Airflow DAG success for {dag_id}'
    
        logging.info(title)
        logging.info(text)
        logging.info(dag_id)
        logging.info(task_id)
    
        datadog_event(title, text, dag_id, task_id)
    
    args = …
Run Code Online (Sandbox Code Playgroud)

datadog airflow

5
推荐指数
1
解决办法
5712
查看次数

dbt:检查安装了哪些软件包

有没有办法检查安装了哪些软件包?我会期待类似的事情dbt list packages

上下文是:

  • 直到我运行 的dbt deps内容才packages.yml给我带来任何好处。并且在某些情况下模型可以在不运行的情况下被触发dbt deps
  • 我想在运行时检查包

我通过谷歌搜索,dbt --help但没有找到任何东西。

dbt

5
推荐指数
1
解决办法
1697
查看次数

标签 统计

airflow ×1

datadog ×1

dbt ×1