在Cloud Dataflow中使用Beam SDK

Question

我们目前正在使用Google的Cloud Dataflow SDK(1.6.0)在GCP中运行数据流作业,但是,我们正在考虑转向Apache Beam SDK(0.1.0).我们仍将使用数据流服务在GCP中运行我们的工作.有没有人经历过这种转变并有建议？这里是否有任何兼容性问题,GCP是否鼓励这一举措？

Answer 1

Dataflow 尚未正式支持 Beam（尽管这确实是我们正在努力的方向）。我们建议继续使用 Dataflow SDK，特别是如果 SLA 或支持对您很重要的话。也就是说，我们的测试表明 Beam 在 Dataflow 上运行，尽管这可能随时中断，但我们当然欢迎您自行尝试，风险自负。

更新： 自 Dataflow SDK 2.0 发布以来，Dataflow SDK 现在基于 Beam ( https://cloud.google.com/dataflow/release-notes/release-notes-java-2 )。Cloud Dataflow 目前支持 Beam 和 Dataflow SDK。