HBase批处理put(List <Put>)是否比put(Put)更快?放置对象的容量是多少?

Der*_*ang 6 hbase

我正在做一个批处理作业,以通过HTableInterface将一批对象放入HBase。有两种API方法,即HTableInterface.put(List)和HTableInterface.put(Put)。

我想知道,对于相同数量的Put对象,批处理是否比逐个放置更快?

另一个问题是,我放置了一个非常大的Put对象,这导致作业失败。放置对象的大小似乎受到限制。可以多大?

Sle*_*idi 1

对于批量放置,最好构造一个放置列表然后调用,HTableInterface.put(List<Put> puts)因为它使用单个 RPC 调用来提交批处理,但根据列表写入缓冲区的大小可能会全部刷新或不刷新