Raj*_*ara 3 streaming google-bigquery
我们已经使用BigQuery超过一年了,没有任何问题.我们每隔几个小时就将数据作为批处理作业加载,通常可以立即使用.
我们刚开始尝试使用模板表进行流式插入.通过我们的第一次测试,我们看到没有错误,数据立即出现.该测试创建了大约120个表.表上的一个简单的选择计数(使用web ui)提供了大约8000行的正确总数.经过几个小时的流媒体播放后,总数降至约1400行.
不确定发生了什么,我们删除了数据集,重新创建了模板表并重新运行了流.这一次,表格立即显示,但数据没有.在我们的第三次尝试中,表格本身并没有显示超过几个小时.我们正在进行第四次尝试,这次我们只流式传输属于一个表的数据.该表立即显示,但已超过一个小时,数据不会显示.
流服务使用最新的Java库,一次只插入一条记录并记录响应.没有例外的响应总是{"kind":"bigquery#tableDataInsertAllResponse"}并且没有错误.
任何试图了解正在发生的事情的帮助都会很棒.谢谢.
小智 5
看起来我们已经确定了这个问题.看来模板表路径中只有竞争导致我们的系统认为第一块数据被用户操作删除(表截断 - 显然不是这样),并且被删除.我们已经确定了修复程序,并将尽快推出解决方案.
感谢您让我们知道!
| 归档时间： |
|
| 查看次数： |
435 次 |
| 最近记录： |