在DataFlow上取消没有dataloss的作业

Question

我正试图找到一种优雅地结束我的工作的方式,以免丢失任何数据,从PubSub流式传输并写入BigQuery.

我可以设想的一种可能的方法是让作业停止提取新数据,然后运行直到它处理完所有内容,但我不知道是否/如何实现这一点.

Answer 1

看来这个功能是在最新版本中添加的。

您现在要做的就是在取消作业时选择排出选项。

谢谢。