Google Dataflow：使用运行时参数创建模板

Question

在数据流中，我需要将开始日期和结束日期作为运行时参数传递，并查询该日期范围的 bigquery 并将输出写入每日文件夹。

当我们使用 ValueProvider 时， getStartDate().get() 方法抛出 java.lang.RuntimeException: Not Called from a Runtime context。如果我在 getStartDate().get().isAccessible() 为 false 时硬编码某个值，则正在生成模板，但运行时参数未反映在作业中。在模板创建期间，它始终以硬编码值运行。

有什么建议 ？

Answer 1

BigQueryIOValueProvider获取查询的一个。最简单的方法是将查询文本作为运行时值传递。

NestedValueProvider可以帮助您从另一个值提供者创建查询字符串，可惜一次NestedValueProvider仅支持一个输入。ValueProvider因此，您可以将开始日期和结束日期连接成一个值，然后进行拆分。