什么是BigQuery的表装饰器的云数据流等价物？

Question

我们在BigQuery中有一个大表,其中数据正在流入.每天晚上,我们都想运行处理过去24小时数据的Cloud Dataflow管道.

在BigQuery中,可以使用" 表装饰器 " 执行此操作,并指定我们想要的范围,即24小时.

从BQ表读取时,Dataflow中是否可以以某种方式实现相同的功能？

我们已经看过Dataflow 的' Windows '文档,但我们无法确定这是否是我们需要的.到目前为止我们想出了这个(我们希望最后24小时的数据使用FixedWindows),但它仍然试图读取整个表格:

pipeline.apply(BigQueryIO.Read
                .named("events-read-from-BQ")
                .from("projectid:datasetid.events"))
                .apply(Window.<TableRow>into(FixedWindows.of(Duration.standardHours(24))))
                .apply(ParDo.of(denormalizationParDo)
                        .named("events-denormalize")
                        .withSideInputs(getSideInputs()))
                .apply(BigQueryIO.Write
                        .named("events-write-to-BQ")
                        .to("projectid:datasetid.events")
                        .withSchema(getBigQueryTableSchema())
                        .withWriteDisposition(BigQueryIO.Write.WriteDisposition.WRITE_TRUNCATE)                          .withCreateDisposition(BigQueryIO.Write.CreateDisposition.CREATE_IF_NEEDED));

我们走在正确的轨道上吗？

Answer 1

谢谢你的问题.

此时,BigQueryIO.Read需要"project:dataset:table"格式的表信息,因此指定装饰器将不起作用.
在支持此功能之前,您可以尝试以下方法:

• 运行批处理阶段,该阶段提取整个bigquery并过滤掉不必要的数据并处理该数据.如果表格非常大,如果读取的数据量明显小于数据总量,您可能希望将数据分叉到单独的表中.
• 使用流数据流.例如,您可以将数据发布到Pubsub,并创建一个24小时窗口的流管道.流媒体管道连续运行,但提供滑动窗口与日常窗口.

希望这可以帮助