小编use*_*660的帖子

如何将多个 csv 文件(不同架构)加载到 bigquery 中

我有 6,500 个 csv 文件,其中包含约 250 个不同的架构。即这些文件来自 FDIC(美国银行监管机构)数据集。它们已上传到谷歌云存储桶: 在此输入图像描述

每个财务季度都有大约 250 个不同的 csv。财务季度内的每个 csv 都有不同的架构: 在此输入图像描述

有大约 250 个独特的模式。每个财务季度都会重复这种模式。csv 文件可追溯到 1992 年 100 个财务季度: 在此输入图像描述

可以使用通配符上传具有相同架构的多个 CSV。例如gs/path/*.csv。但是,每个表名称并不是从文件名自动生成的。UI 需要表名作为输入: 在此输入图像描述

如何将具有不同架构的多个 csv 文件加载到 bigquery 中?

google-bigquery

3
推荐指数
1
解决办法
2990
查看次数

标签 统计

google-bigquery ×1