小编Ste*_* G.的帖子

气流:如何将读取 json 文件的方法放入本地库中

我必须产生一些DAG。我已将 json 表架构文件保存在GCP 存储桶上。\n与Composer关联的 GCP 存储桶上的文件将在/home/airflow/gcs/dags/上重新映射。\n如果我定义读取 json 文件的方法,创建 dag,一切都会顺利。\n但是,如果我希望生成一些“通用代码”(用于将其放在我的库中),我无法使用库中的代码访问文件系统,在具体来说我无法使用 python json 库。

\n\n

奇怪的是,我在 dag 创建步骤之外定义了该方法,但只有在 dag 创建之后才调用它!

\n\n

为了完成讨论,如果库中的代码仅在内存对象中使用,我不会有任何问题。

\n\n

当我使用气流时遇到这个问题(作曲家在 GCP 驱动程序上使用 1.9)

\n\n

这是我的外部库:

\n\n
lib/\n    __init__.py\n    bb_airflow_utils.py\n
Run Code Online (Sandbox Code Playgroud)\n\n

在外部库上

\n\n
lib/\n    __init__.py\n    bb_airflow_utils.py\n
Run Code Online (Sandbox Code Playgroud)\n\n

在主要脚本上

\n\n
def load_json_file(fname):\n    #per far s\xc3\xac che il dag la veda\n    with open(fname, \'r\') as f:\n        d = json.load(f)\n    return d\n
Run Code Online (Sandbox Code Playgroud)\n\n

Airflow 忽略操作员并通过 UI 表示 dag 没有 SLA

\n

python json google-cloud-platform airflow

3
推荐指数
1
解决办法
7647
查看次数

如何通过 kubectl 在 google-cluoud-composer 和 Airflow 1.10 上访问 Airflow

我正在使用GCP Composer来管理 GCP 上的 Apache。

对于新项目,我使用新版本的 Composer/Airflow(composer:1.6.1,Airflow:1.10)

要通过 shell 连接气流以检查损坏的 DAG,GCP 文档说明:

  1. 打开 GCP shell

  2. 连接到 GKE 集群

  3. myuser @cloudshell:~ kubectl 获取 pod

  4. myuser @cloudshell:~ kubectl exec -it airflow-worker- 1a2b3c - xyz12 -c airflow-worker -- /bin/bash

这在 Airflow 1.9 上工作正常,但在 Airflow 1.10 上kubectl get pods不显示工作 pod,而且我还没有找到有关如何在 AF 1.10 上通过 kubeclt 访问气流的文档

有人可以帮助我吗?

_myuser_@cloudshell:~ (_Myproject_)$ kubectl get pods 
NAME                                                        READY     STATUS      RESTARTS   AGE
airflow-monitoring-564c8c7dc5-hxb62                         1/1       Running     0          17h
airflow-redis-0                                             1/1       Running     0          17h
airflow-sqlproxy-594dbf87b7-nmtbh                           1/1 …
Run Code Online (Sandbox Code Playgroud)

worker airflow kubectl google-cloud-composer

1
推荐指数
1
解决办法
2444
查看次数