我正在使用bq load命令行将CSV文件上传到Google BigQuery .它工作得很好,但我有一个关于即时转换时间戳的问题.
在我的源数据中,我的时间戳格式为YYYYMM,例如2013032013年3月.
但是,Google BigQuery的时间戳字段记录为仅支持Unix时间戳和YYYY-MM-DD HH:MM:SS格式字符串.不出所料,当我加载数据时,这些字段不会转换为正确的日期.
有什么方法可以告诉BigQuery这些是YYYYMM字符串吗?
如果不是我可以在加载前转换它们,但我有大约1TB的源数据,所以我很想避免这种情况,如果可能的话:)
另一种方法是将此字段作为STRING加载,并将其转换为BigQuery内部的TIMESTAMP,将数据复制到另一个表中(之后删除原始表),并执行以下转换:
SELECT TIMESTAMP(your_ts_str + "01") AS ts
Run Code Online (Sandbox Code Playgroud)
| 归档时间: |
|
| 查看次数: |
2561 次 |
| 最近记录: |