小编Raj*_*hmi的帖子

在 EST 时区安排 DAG - Airflow

我有一个以 UTC 作为时区的气流调度程序。我想根据 EST 时间安排 DAG。这里的问题是我想安排我的 DAG 在东部标准时间每个周一至周五下午 6 点到晚上 9 点运行。将 EST 转换为 UTC 下午 6 点将变为晚上 10 点,晚上 9 点将变为第二天的凌晨 1 点。

我尝试根据 UTC - '0 10-23,1 * * MON-FRI'给出 crontab 表达式,但由于时区不同,我的 DAG 将跳过周五上午 0 点到凌晨 1 点(美国东部时间晚上 8-9 点)的运行。请帮助我为此做出适当的安排。

任何帮助表示赞赏。

cron directed-acyclic-graphs airflow airflow-scheduler

6
推荐指数
1
解决办法
8697
查看次数

从现有表创建表,而不复制雪花中的数据

我想从现有表创建表,而不将数据复制到雪花中的新表。这可能吗?

例如:

我有表说“DB”。“SCHEMA”。“tb1”和“DB”。“SCHEMA”。“tb2”。

我想从“DB”.“SCHEMA”.“tb1”和“DB”.“SCHEMA”创建表“DB”.“SCHEMA”.“tb3”和“DB”.“SCHEMA”.“tb4”。 “tb2”而不将其数据复制到“DB”.“SCHEMA”.“tb3”和“DB”.“SCHEMA”.“tb4”。

请帮忙。

提前致谢。

snowflake-schema snowflake-cloud-data-platform

3
推荐指数
1
解决办法
6012
查看次数

将雪花中的单行值拆分为多行

我有一个表,其中列数据具有由“;”分隔的值的组合。我想将它们分成每个列值的行。

表数据 在此输入图像描述

现在我想将它们分成多行,每个值如下

在此输入图像描述

我尝试过使用下面的 SQL 语句。

SELECT DISTINCT COL_NAME FROM "DB"."SCHEMA"."TABLE,
LATERAL FLATTEN(INPUT=>SPLIT(COL_NAME,';'))
Run Code Online (Sandbox Code Playgroud)

但输出并不如预期。附上下面的查询输出。

在此输入图像描述

基本上查询对我的数据没有任何作用。

sql snowflake-cloud-data-platform

2
推荐指数
1
解决办法
1万
查看次数

从列表创建任务 - Airflow

我有一个要求,我有一个列表列表,例如

[[a,b,c,d],[e,f,g,h],[i,j,k,l]]
Run Code Online (Sandbox Code Playgroud)

现在我想在 DAG 中创建任务,如下所示

a >> b >> c >> d

e >> f >> g >> h

i >> j >> k >> l
Run Code Online (Sandbox Code Playgroud)

任何帮助表示赞赏。

python list directed-acyclic-graphs airflow airflow-scheduler

1
推荐指数
1
解决办法
1687
查看次数

升级 GCP Composer 中的 python 版本

我们有一个 Python 版本 3 的 GCP Composer。我想将版本更新到 Python 3.9,但我无法找到编辑选项来在我的 Composer 中进行此更改。谁能帮助我实现这一目标?

任何帮助表示赞赏。

python google-cloud-platform google-cloud-composer

0
推荐指数
1
解决办法
1538
查看次数