HBase是否每行施加最大尺寸？

Question

高级别问题:

HBase是否强制每行的最大大小,这对于所有分布都是通用的(因此不是实现的工件),无论是存储字节还是以单元数量表示？

如果是这样:

• 限制是多少？

• 限制存在的原因是什么？

• 记录的限制在哪里？

如果不:

• 文档(或测试结果)是否可用于证明HBase处理超过2GB行的能力？4GB？

• 是否存在实际或"最佳实践"最大值,HBase API用户应保持行大小以避免严重的性能下降？如果是这样,如果丢弃该指导,会出现什么样的性能下降？

在任一情况下:

• 答案是否取决于相关的HBase版本？

背景:

• HBase API的至少一个实现似乎确实施加了限制; MapR Tables使用MapR专有的MapR-FS作为表的底层存储层,似乎强加了每行2GB的硬限制和一个默认为32MB的可配置软限制.其他流行的HBase API实现是否也有这样的限制？
• 这从HBase的提交者托德Lipcon在2011 Quora的响应表明在细胞数方面无有限制.但是,它也表明"负载平衡和分配的单位是区域,并且不会跨区域划分一行".在一个区域内存在行的要求是对行大小施加硬限制,还是实际限制,过去性能下降会变得严重？

Answer 1

必须将一行放入一个区域文件中,以便分配给区域服务器并进行复制.区域文件大小可由"hbase.hregion.max.filesize"配置

这个页面说它将是10gb默认/最大http://hortonworks.com/blog/apache-hbase-region-splitting-and-merging/

该页面说它可以设置为100gb

要禁用自动拆分,请将hbase.hregion.max.filesize设置为一个非常大的值,例如100 GB.建议不要将其设置为其绝对最大值Long.MAX_VALUE. http://hbase.apache.org/book.html#important_configurations