我必须产生一些DAG。我已将 json 表架构文件保存在GCP 存储桶上。\n与Composer关联的 GCP 存储桶上的文件将在/home/airflow/gcs/dags/上重新映射。\n如果我定义读取 json 文件的方法,创建 dag后,一切都会顺利。\n但是,如果我希望生成一些“通用代码”(用于将其放在我的库中),我无法使用库中的代码访问文件系统,在具体来说我无法使用 python json 库。
\n\n奇怪的是,我在 dag 创建步骤之外定义了该方法,但只有在 dag 创建之后才调用它!
\n\n为了完成讨论,如果库中的代码仅在内存对象中使用,我不会有任何问题。
\n\n当我使用气流时遇到这个问题(作曲家在 GCP 驱动程序上使用 1.9)
\n\n这是我的外部库:
\n\nlib/\n __init__.py\n bb_airflow_utils.py\nRun Code Online (Sandbox Code Playgroud)\n\nlib/\n __init__.py\n bb_airflow_utils.py\nRun Code Online (Sandbox Code Playgroud)\n\ndef load_json_file(fname):\n #per far s\xc3\xac che il dag la veda\n with open(fname, \'r\') as f:\n d = json.load(f)\n return d\nRun Code Online (Sandbox Code Playgroud)\n\nAirflow 忽略操作员并通过 UI 表示 dag 没有 SLA
\n我正在使用GCP Composer来管理 GCP 上的 Apache。
对于新项目,我使用新版本的 Composer/Airflow(composer:1.6.1,Airflow:1.10)
要通过 shell 连接气流以检查损坏的 DAG,GCP 文档说明:
打开 GCP shell
连接到 GKE 集群
myuser @cloudshell:~ kubectl 获取 pod
myuser @cloudshell:~ kubectl exec -it airflow-worker- 1a2b3c - xyz12 -c airflow-worker -- /bin/bash
这在 Airflow 1.9 上工作正常,但在 Airflow 1.10 上kubectl get pods不显示工作 pod,而且我还没有找到有关如何在 AF 1.10 上通过 kubeclt 访问气流的文档
有人可以帮助我吗?
_myuser_@cloudshell:~ (_Myproject_)$ kubectl get pods
NAME READY STATUS RESTARTS AGE
airflow-monitoring-564c8c7dc5-hxb62 1/1 Running 0 17h
airflow-redis-0 1/1 Running 0 17h
airflow-sqlproxy-594dbf87b7-nmtbh 1/1 …Run Code Online (Sandbox Code Playgroud)