BigQuery 行限制

Question

谷歌表示 BigQuery 可以处理数十亿行。

对于我的应用程序，我估计使用 200,000,000 * 1000 行。超过几十亿。

我可以将数据分区为每个分区 200,000,000 行，但 BigQuery 对此的唯一支持似乎是不同的表。（如果我错了，请纠正我）

总数据大小约为 2TB。

我在示例中看到了一些大数据量，但行数都在 10 亿以下。

BigQuery 能否支持我在单个表中处理的行数？

如果没有，除了多个表之外，我可以以任何方式对其进行分区吗？

Answer 1

下面应该回答你的问题

我再次运行我们的一个数据集
正如你所看到的表大小接近 10TB，大约有 1.3-16 亿行

SELECT 
  ROUND(size_bytes/1024/1024/1024/1024) as TB, 
  row_count as ROWS
FROM [mydataset.__TABLES__] 
ORDER BY row_count DESC
LIMIT 10

我认为到目前为止我们处理的最大桌子至少达到了 5-60 亿，并且都按预期工作

Row   TB        ROWS     
1   10.0    1582903965   
2   11.0    1552433513   
3   10.0    1526783717   
4    9.0    1415777124   
5   10.0    1412000551   
6   10.0    1410253780   
7   11.0    1398147645   
8   11.0    1382021285   
9   11.0    1378284566   
10  11.0    1369109770