小编pan*_*kaj的帖子

仅当 AWS athena 表中的新分区/数据可用时,如何使用 python 中的 DAG 触发 Airflow 任务?

我有一个像下面这样的场景:

  1. 仅当源表 (Athena) 中有新数据可用时才触发 aTask 1和。Task 2当一天中有新的数据分区时,应该触发任务 1 和任务 2。
  2. 仅在和Task 3完成时触发Task 1Task 2
  3. 仅触发Task 4完成Task 3

在此输入图像描述

我的代码

from airflow import DAG

from airflow.contrib.sensors.aws_glue_catalog_partition_sensor import AwsGlueCatalogPartitionSensor
from datetime import datetime, timedelta

from airflow.operators.postgres_operator import PostgresOperator
from utils import FAILURE_EMAILS

yesterday = datetime.combine(datetime.today() - timedelta(1), datetime.min.time())

default_args = {
    'owner': 'airflow',
    'depends_on_past': False,
    'start_date': yesterday,
    'email': FAILURE_EMAILS,
    'email_on_failure': False,
    'email_on_retry': False,
    'retries': 1,
    'retry_delay': timedelta(minutes=5)
}

dag = DAG('Trigger_Job', default_args=default_args, …
Run Code Online (Sandbox Code Playgroud)

python directed-acyclic-graphs airflow amazon-athena airflow-scheduler

5
推荐指数
1
解决办法
2685
查看次数

如何删除数据帧所有列中仅包含 NaN 值的行?

我有如下数据框。

输入

df

A     B     C
1     2     1
NaN   4     2
3     NaN   NaN
NaN   NaN   NaN
4     2     NaN
NaN   NaN   NaN
Run Code Online (Sandbox Code Playgroud)

输出

  A     B     C
  1     2     1
  NaN   4     2
  3     NaN   NaN
  4     2     NaN
Run Code Online (Sandbox Code Playgroud)

在 python 中如何做到这一点

python dataframe pandas

4
推荐指数
1
解决办法
6372
查看次数

如何根据 Python 中的 delimeter 从一组 Pandas 数据帧中的值创建新行?

我有如下所示的数据框。我想将列 zip 内的值拆分为行值,如下所示。这些值可以_ ,.由这些分隔符分隔。这如何在 python 中完成。

输入

df.head(5)

    Date    Item_Code   Type    Zip
    1/1/2020    A   Long    07_08_09
    12/4/2020   B   Small   AB_CD_EF_GF
    13/4/2020   A   Long    08_14
    1/5/2020    A   Long    
    21/5/2020   B   Small   09,07,16
    22/5/2020   B   Small   AB,07
Run Code Online (Sandbox Code Playgroud)

预期产出

Date    Item_Code   Type    Zip
1/1/2020    A      Long    07
1/1/2020    A      Long    08
1/1/2020    A      Long    09
12/4/2020   B      Small   AB
12/4/2020   B      Small   CD
12/4/2020   B      Small   EF
12/4/2020   B      Small   GF
13/4/2020   A      Long    08
13/4/2020   A      Long    14
1/5/2020    A …
Run Code Online (Sandbox Code Playgroud)

python regex dataframe python-3.x pandas

2
推荐指数
1
解决办法
50
查看次数