BigQuery流数据无法立即获得

Question

由于成功插入后,几天内流式传输到bigquery的一些数据无法立即(通常发生)在bigquery web ui中.

我的用例包括使用以下方法插入数千行:

bigquery.tabledata().insertAll(...)

流插入到表中的结果是:(我也检查insertErrors所描述的,以确保在这里):

BigQuery insert status : {"kind":"bigquery#tableDataInsertAllResponse"}
BigQuery insert errors  : null

bigquery web ui中可用的总行数与插入的总数不同.

我将不胜感激任何帮助.

Bigquery项目详情:

Project ID  : favorable-beach-87616
Table : mtp_UA_xxxx_1_20150410

谷歌图书馆的项目依赖:

compile 'com.google.api-client:google-api-client:1.19.0'
compile 'com.google.http-client:google-http-client:1.19.0'
compile 'com.google.http-client:google-http-client-jackson2:1.19.0'
compile 'com.google.oauth-client:google-oauth-client:1.19.0'
compile 'com.google.oauth-client:google-oauth-client-servlet:1.19.0'
compile 'com.google.apis:google-api-services-bigquery:v2-rev171-1.19.0'
compile 'com.google.api-client:google-api-client:1.17.0-rc'

非常感谢您的帮助!

Answer 1

当您说出Web UI中可用的总行数时,是指表中"详细信息"窗格中显示的行数,还是执行SELECT COUNT(*)查询时返回的行数？

如果是前者,那是预期的,因为该计数器仅返回已经刷新到长期存储的行数(与流数据最初被写入的短期存储缓冲区相反).这无疑令人困惑,我们正在努力解决这个问题.

如果是后者,则行不会出现在查询中,这更令人担忧.如果是这种情况,请告诉我们,我们会进行调查.