我得到 csv 文件,其中字符串空值表示为""
,当我将文件加载到BigQuery
该字段的值是空字符串而不是Null
.
有没有办法将 BigQuery 设置""
为Null
值?
我正在将批处理文件加载到表中。
我想在表中添加一个时间戳列,以便可以知道记录中的插入时间。我正在以附加模式加载,因此并非所有记录都同时插入。
不幸的是,我在大型查询中找不到解决方法。当将文件加载到表中时,我没有找到用其他列添加填充填充的选项。我只想在代码中计算时间戳并将其作为所有插入过程的常量字段。
我现在正在执行的解决方案是加载到临时表,然后将表+新时间戳字段查询到目标表中。它可以工作,但是这是另一步骤,我要进行多次加载,由于另一步骤的延迟,整个过程会花费太多时间。
有人知道只有一步之遥的另一种解决方案吗?
我用于在AWS ECS上运行任务以执行批处理任务。
有时,任务处于挂起状态并进入运行状态需要10秒钟,有时在挂起状态开始运行之间可能需要5分钟才能开始运行。
为了防止5分钟的延迟问题,我该怎么办?是否有一些设置或某种“热身”程序?