如何停止谷歌云数据流中的流管道

Question

我有一个流式数据流正在运行以读取 PUB/SUB 订阅。

经过一段时间或可能在处理一定数量的数据后，我希望管道自行停止。我不希望我的计算引擎实例无限期地运行。

当我通过数据流控制台取消作业时，它显示为失败的作业。

有没有办法实现这一目标？我错过了什么吗？或者 API 中缺少该功能。

Answer 1

你能做这样的事情吗？

Pipeline pipeline = ...;
... (construct the streaming pipeline) ...
final DataflowPipelineJob job =
    DataflowPipelineRunner.fromOptions(pipelineOptions)
                          .run(pipeline);
Thread.sleep(your timeout);
job.cancel();