小编dev*_*evj的帖子

访问通过CLI传递给Airflow的配置参数

我试图在触发dag运行时将以下配置参数传递给Airflow CLI.以下是我正在使用的trigger_dag命令.

airflow trigger_dag  -c '{"account_list":"[1,2,3,4,5]", "start_date":"2016-04-25"}'  insights_assembly_9900 
Run Code Online (Sandbox Code Playgroud)

我的问题是如何在dag运行中访问运算符内传递的con参数.

python airflow

11
推荐指数
3
解决办法
6334
查看次数

Sql查询:列值的共现

我有一张这样的表:

col1     col2
id1      item1
id1      item2
id1      item3
id2      item1
id2      item4
id3      item2
id3      item3
Run Code Online (Sandbox Code Playgroud)

我必须在这个表上运行一个查询来找到每对items共享一个公共id. 例如,在上述情况下,该对(item1, item2)的计数为1(只有 id1 具有 item1 和 item2)。同样,该对(item2, item3)的计数为 2(id1, id3)。

我可以编写代码来实现这一点,但我无法使用 sql 查询。帮我写一个高效的查询来输出以下内容:

col1    col2    count   
item1   item2    1
item1   item3    1
item1   item4    1
item2   item3    2 
Run Code Online (Sandbox Code Playgroud)

谢谢

sql hive

6
推荐指数
1
解决办法
1262
查看次数

标签 统计

airflow ×1

hive ×1

python ×1

sql ×1