如何自定义 GCP Dataflow 模板？

Question

我打算在云存储数据流模板上使用Pub/Sub 到文本文件，并在写入云存储之前进行少量自定义，例如处理（按摩）PubSub 消息。

我编写了 apache-beam 管道代码，但对如何部署它感到困惑。它使用的参数将与Cloud Storage 上的 Pub/Sub 到文本文件完全相同

从文档中我了解到我可以使用 Google 提供的模板之一或创建自己的模板。但是，不是创建我自己的模板，而是有更好的方法来自定义 Google 提供的模板，因为它足以满足我的大部分要求

Answer 1

我认为我们处于全有或全无的情况。唯一不需要创建自己的模板的定制是通过参数公开的，它们不接受 Ptransforms。

由于您需要修改摄取的 Pub/sub 消息，因此您需要创建自己的 PTransform，将其集成到您的管道中并生成关联的模板。

鉴于这只是一个小小的添加，您最好的方法是克隆模板源并将它们复制到您自己的本地 Beam 项目中（或从克隆的项目中生成它）。!!不要修改示例模板本身。只是这里可用的代码示例！生成模板中注明文档。你很高兴打电话给它。