小编Bab*_*ani的帖子

如何为 Apache Airflow DAG 定义超时?

我使用的是 airflow 1.10.2,但 Airflow 似乎忽略了我为 DAG 设置的超时。

我正在使用dagrun_timeout参数(例如 20 秒)为 DAG 设置超时期限,并且我有一个需要 2 分钟才能运行的任务,但气流将 DAG 标记为成功!

args = {
    'owner': 'me',
    'start_date': airflow.utils.dates.days_ago(2),
    'provide_context': True
}

dag = DAG('test_timeout',
          schedule_interval=None,
          default_args=args,
          dagrun_timeout=timedelta(seconds=20))

def this_passes(**kwargs):
    return

def this_passes_with_delay(**kwargs):
    time.sleep(120)
    return

would_succeed = PythonOperator(task_id='would_succeed',
                               dag=dag,
                               python_callable=this_passes,
                               email=to)

would_succeed_with_delay = PythonOperator(task_id='would_succeed_with_delay',
                            dag=dag,
                            python_callable=this_passes_with_delay,
                            email=to)

would_succeed >> would_succeed_with_delay
Run Code Online (Sandbox Code Playgroud)

不会抛出任何错误消息。我是否使用了错误的参数?

airflow

9
推荐指数
1
解决办法
1万
查看次数

没有为此数据库实例注册名为`apoc.help`的过程

我根据建造和安装了"APOC"程序的github页(APOC的-1.0.0-SNAPSHOT.jar文件被复制到插件目录的suerver停止后,然后我又启动了服务器),但是当我试着调用任何程序,我收到一条错误信息.

例如:

$ call apoc.help('search') ;
Run Code Online (Sandbox Code Playgroud)

"没有apoc.help为此数据库实例注册名称的过程.请确保您已正确拼写过程名称并正确部署过程."

我在MacO和Windows安装上遇到过这个问题.我正在运行Neo4j 3.0.0作为服务器(本地端口7474).

我错过了任何设置吗?

谢谢,巴巴克.

installation neo4j cypher

5
推荐指数
1
解决办法
6159
查看次数

是否可以在 docker 镜像的 BUILD 阶段在主机上安装卷?

我正在使用 centos:6 并且需要使用 Dockerfile 构建一个映像,该映像安装了许多 rpm(实际上是 Oracle 客户端)。我不想在图像中复制/添加 rpm,因为它会使图像变得笨重(无论如何,我必须在安装后删除 rpm)。

在 BUILD 阶段,有没有办法通过 Dockerfile 和/或使用“docker build”命令的任何选项在主机(CentOS,本身)上挂载包含 rpms 的文件夹?

docker

5
推荐指数
1
解决办法
3712
查看次数

如何强制删除MWAA环境?

我在我的 MWAA 环境中更新了一些 Airflow 配置选项,并且在过去三个小时内它一直处于“正在更新”状态!

有人知道如何强制删除该环境吗?使用 AWS MWAA 控制台上的“删除”按钮只会导致显示“具有 UPDATING 状态的环境必须在启动新操作之前完成先前的操作”消息。

amazon-web-services cost-management airflow mwaa

5
推荐指数
1
解决办法
3966
查看次数