我正在使用HBase的cloudera发行版(hbase-0.94.6-cdh4.5.0)和cloudera管理器来设置所有集群的配置.
我为HBase设置了以下属性:
<property>
<name>hbase.hregion.max.filesize</name>
<value>10737418240</value>
<source>hbase-default.xml</source>
</property>
NB: 10737418240 <=> 10G
因此,根据我阅读的所有文档,数据应累积到一个区域,直到区域大小达到10G.
但是,它似乎没有用......也许我想念一些东西......
这是我的hbase表的所有区域及其大小:
root@hadoopmaster01:~# hdfs dfs -du -h /hbase/my_table
719 /hbase/my_table/.tableinfo.0000000001
0 /hbase/my_table/.tmp
222.2 M /hbase/my_table/08e225d0ae802ef805fff65c89a15de6
602.7 M /hbase/my_table/0f3bb09af53ebdf5e538b50d7f08786e
735.1 M /hbase/my_table/1152669b3ef439f08614e3785451c305
2.8 G /hbase/my_table/1203fbc208fc93a702c67130047a1e4f
379.3 M /hbase/my_table/1742b0e038ece763184829e25067f138
7.3 G /hbase/my_table/194eae40d50554ce39c82dd8b2785d96
627.1 M /hbase/my_table/28aa1df8140f4eb289db76a17c583028
274.6 M /hbase/my_table/2f55b9760dbcaefca0e1064ce5da6f48
1.5 G /hbase/my_table/392f6070132ec9505d7aaecdc1202418
1.5 G /hbase/my_table/4396a8d8c5663de237574b967bf49b8a
1.6 G /hbase/my_table/440964e857d9beee1c24104bd96b7d5c
1.5 G /hbase/my_table/533369f47a365ab06f863d02c88f89e2
2.5 G /hbase/my_table/6d86b7199c128ae891b84fd9b1ccfd6e
1.2 G /hbase/my_table/6e5e6878028841c4d1f4c3b64d04698b
1.6 G /hbase/my_table/7dc1c717de025f3c15aa087cda5f76d2
200.2 M /hbase/my_table/8157d48f833bb3b708726c703874569d
118.0 M /hbase/my_table/85fb1d24bf9d03d748f615d3907589f2
2.0 G /hbase/my_table/94dd01c81c73dc35c02b6bd2c17d8d22
265.1 M …
我们的小型hadoop集群中的空间不足,所以我正在检查HDFS上的磁盘使用情况,我发现大部分空间都被/ hbase/oldWALs文件夹占用.
我已经检查了"HBase权威书"和其他书籍,网站,我也在谷歌搜索我的问题,但我没有找到正确的答案......
所以我想知道这个文件夹是什么,有什么用途,以及如何在不破坏所有内容的情况下从这个文件夹中释放空间......
如果它与特定版本相关......我们的集群在cloudera(hbase 0.98.6)的5.3.0-1.cdh5.3.0.p0.30下.
谢谢你的帮助!