我试图在触发dag运行时将以下配置参数传递给Airflow CLI.以下是我正在使用的trigger_dag命令.
airflow trigger_dag -c '{"account_list":"[1,2,3,4,5]", "start_date":"2016-04-25"}' insights_assembly_9900
Run Code Online (Sandbox Code Playgroud)
我的问题是如何在dag运行中访问运算符内传递的con参数.
我有一张这样的表:
col1 col2
id1 item1
id1 item2
id1 item3
id2 item1
id2 item4
id3 item2
id3 item3
Run Code Online (Sandbox Code Playgroud)
我必须在这个表上运行一个查询来找到每对items共享一个公共id. 例如,在上述情况下,该对(item1, item2)的计数为1(只有 id1 具有 item1 和 item2)。同样,该对(item2, item3)的计数为 2(id1, id3)。
我可以编写代码来实现这一点,但我无法使用 sql 查询。帮我写一个高效的查询来输出以下内容:
col1 col2 count
item1 item2 1
item1 item3 1
item1 item4 1
item2 item3 2
Run Code Online (Sandbox Code Playgroud)
谢谢