HBase - WAL和MemStore有什么区别？

Question

我想了解HBase架构.我可以看到两个不同的术语用于相同的目的.

Write Ahead Logs并且Memstore,两者都用于存储尚未持久化的新数据permanent storage.

WAL和MemStore有什么区别？

更新:

WAL - 用于在服务器崩溃时恢复尚未保留的数据.MemStore - 将更新作为Sorted Keyvalue存储在内存中.

在将数据写入磁盘之前,似乎有很多重复数据.

Answer 1

WAL 用于恢复不用于数据复制.

请到下面了解更多......

• Hbase商店托管MemStore和0个或更多StoreFiles(HFiles).商店对应于给定区域的表的列族.

• Write Ahead Log(WAL)记录对HBase中数据的所有更改,以及基于文件的存储.如果RegionApp在刷新MemStore之前崩溃或变得不可用,则WAL确保可以重播对数据的更改.

• 对于每个RegionServer一个WAL,RegionServer必须串行写入WAL,因为HDFS文件必须是顺序的.这导致WAL成为性能瓶颈.

• 可以禁用WAL以改善性能瓶颈.这是通过调用Hbase客户端字段来完成的

WAL

一般说明:一般的做法是,在进行批量加载数据时,WAL被禁用以获得速度.但副作用是如果您禁用WAL,如果有任何内存崩溃,您无法获取重播数据.

更多的是如果你使用solr + HBASE + LILY,即LILY Morphiline NRT索引与hbase然后它将在WAL上工作,如果你出于性能原因禁用WAL,那么Solr NRT索引不会工作.因为Lily在WAL上工作.

请看一下Hbase架构部分