小编Luk*_*wik的帖子

如何使用在数据流执行期间计算出的架构写入BigQuery?

我有以下情况:

  1. 管道A在BigQuery中查找表A,进行一些计算并返回列名列表。
  2. 此列名称列表用作管道B输出的BigQuery架构。

您能否让我知道实现此目标的最佳选择是什么?

管道A可以使用TextIO将列名列表写入临时文件或暂存位置文件中,然后由管道执行器读取以定义管道B的架构。如果这种方法看起来不错,请告诉我是否存在数据流实用程序,用于从临时位置或暂存位置或是否应使用GCS API读取文件。

google-cloud-dataflow

4
推荐指数
1
解决办法
1617
查看次数

标签 统计

google-cloud-dataflow ×1