如何改进HBase扫描仪？

Question

我可以配置HBase,以便扫描仪一次只检索多个记录吗？或者当数据库包含大量记录时如何改进扫描程序/

Answer 1

我相信扫描仪实际上一次只能请求一个项目,除非您设置缓存.您可以通过getCaching()检查以确保

每次调用ResultScanner#next()时,它都会检索下一个项目.您还可以使用ResultScanner#next(int)一次检索多个结果.

设置扫描仪时,您可以使用Scan#setCaching提前检索结果 http://hadoop.apache.org/hbase/docs/r0.20.4/api/org/apache/hadoop/hbase/client/Scan.html# setCaching(INT)

您的扫描仪很可能很慢,因为您一次只读取一条记录(包括RPC协议的所有来回和诸如此类的东西).因此,如果您打算阅读很多内容,请让系统提前为您缓存一些结果.

Answer 2

您可能还想检查Filter API,它允许您有选择地将行或单元的子集返回给客户端:http://hadoop.apache.org/hbase/docs/current/api/org/apache/hadoop/ hbase/filter/package-summary.html.