小编djo*_*hon的帖子

我对Airflow完全不熟悉.我想在指定的日期运行一个简单的DAG.我很难在开始日期,执行日期和回填之间做出改变.运行DAG的命令是什么？

这是我以后尝试过的:

airflow run dag_1 task_1 2017-1-23

我第一次运行该命令时,任务执行正确,但是当我再次尝试时它没有用.

这是我跑的另一个命令:

airflow backfill dag_1 -s 2017-1-23 -e 2017-1-24

我不知道这个命令会发生什么.DAG每天会从23点到24点执行吗？

在运行上面的两个命令之前,我这样做了:

airflow initdb
airflow scheduler 
airflow webserver -p 8085 --debug &

这是我的DAG

from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from datetime import datetime, timedelta
default_args = {
    'owner': 'airflow',
    'depends_on_past': False,
    'start_date': datetime(2017, 1, 23, 12),
    'email': ['airflow@airflow.com'],
    'email_on_failure': False,
    'email_on_retry': False,
    'retries': 1,
    'retry_delay': timedelta(minutes=5),
}

dag = DAG(
    'dag_1', default_args=default_args, schedule_interval=timedelta(1))

t1 = BashOperator(
    task_id='create_clients',
    bash_command='Rscript /scripts/Cli.r',
    dag=dag)

t2 = …

我的项目 A 带有这样的 pyproject 文件

[tool.poetry]
name = "projectA"
version = "2.0"
description = "Package gathering for project A"
repository = "https://git.saas.tech/project-a"
[tool.poetry.dependencies]
Package B = "1.0"

我想测试一个功能。我如何告诉诗歌查看特定的分支？这可能吗 ？

repository = "https://git.saas.tech/project-a/my-feature"   

我知道有 pyarrow.parquet 用于将镶木地板文件读取为箭头表，但我正在寻找 avro 的等效项？

看起来spark sql对于“ like”查询区分大小写，对吗？

spark.sql("select distinct status, length(status)  from table")

退货

Active|6

spark.sql("select distinct status  from table where status like '%active%'")

无值返回

spark.sql("select distinct status  from table where status like '%Active%'")

退货

 Active