用于 Google Cloud Dataflow 工作器的自定义虚拟机映像

Question

浏览了 Google Cloud Dataflow 文档后，我的印象是工作虚拟机运行特定的预定义 Python 2.7 环境，而没有任何选项可以更改它。是否可以为工作人员提供自定义 VM 映像（使用库、特定应用程序需要的外部命令构建）。是否可以在 Gcloud Dataflow 上运行 Python 3？

Answer 1

2021 年更新

截至今天，这两个问题的答案都是肯定的。

1. Dataflow 支持 Python 3。
2. Dataflow 支持自定义容器映像，请参阅此 SO 答案和此文档页面。

是否可以为工作人员提供自定义 VM 映像（使用特定应用程序所需的库、外部命令构建）。是否可以在 Gcloud Dataflow 上运行 Python 3？

这两个问题都不是。您可以为 Dataflow 作业配置 Compute Engine 实例机器类型和磁盘大小，但无法配置已安装应用程序等内容。目前，Apache Beam 不支持 Python 3.x。

参考：

1. https://cloud.google.com/dataflow/pipelines/specifying-exec-params
2. https://issues.apache.org/jira/browse/BEAM-1251
3. https://beam.apache.org/get-started/quickstart-py/