创建dag run时,将参数传递给Airflow Experimental REST api

Question

看起来Airflow有一个实验性的REST api,允许用户使用https POST请求创建dag运行.这太棒了.

有没有办法通过HTTP将参数传递给create dag run？从这里发现的官方文档来看,似乎答案是"不",但我希望我错了.

Answer 1

我遇到过同样的问题."conf"值必须是字符串

curl -X POST \
    http://localhost:8080/api/experimental/dags/<DAG_ID>/dag_runs \
    -H 'Cache-Control: no-cache' \
    -H 'Content-Type: application/json' \
    -d '{"conf":"{\"key\":\"value\"}"}'

Answer 2

从源代码来看,似乎参数可以传递到dag运行中.

如果http请求的主体包含json,并且该json包含顶级键,则conf该键的值conf将作为配置传递给它trigger_dag.有关其工作原理的更多信息,请点击此处.

Answer 3

对于稳定的 REST API来说，情况不再如此。

你可以做类似的事情 -

curl --location --request POST 'localhost:8080/api/v1/dags/unpublished/dagRuns' \
--header 'Content-Type: application/json' \
--header 'Authorization: Basic YWRtaW46YWRtaW4=' \
--data-raw '{
    "dag_run_id": "dag_run_1",
    "conf": {
        "key": "value"
    }
}'

我知道这个问题是针对实验性 API 提出的，但这个问题是气流 REST API 的热门搜索结果。