我可以重新启动 Cloud Composer 环境吗？

Question

我Google Cloud现在使用 Composer 几天了，主要是将数据从 MySQL 移动到 BigQuery，它运行良好。

在某个时候，它停止工作：

• 运行任务运行很长时间然后失败

• 任务不开始

• 新达格有评论This DAG seems to be existing only locally. The master scheduler doesn't seem to be aware of its existence

我已经使用 Airflow Web UI 清理了所有 DAG 运行和任务实例，但仍然无法工作。

有没有办法重新启动环境而不丢失已完成任务的结果？还有其他方法可以手动运行气流吗？

Answer 1

这篇文章已经发布一年多了，但可能对其他人有帮助。回答你的2个问题：

1. 如何重新启动 Composer 环境 每次将 Python 包或环境变量添加到 Composer 中时，都会重新启动整个环境以安装需要添加的内容。因此，重新启动 Composer 环境的解决方法是添加一个虚拟环境变量。按着这些次序：

   • 转到 GCP 中的 Composer 实例
   • 环境变量选项卡
   • 编辑，添加环境变量并提交

2. 如何手动运行 Airflow 您还可以通过 Composer 命令行访问 Airflow： https: //cloud.google.com/composer/docs/gcloud-installation

我希望它有帮助！