区域服务器终止后丢失基表数据

Nan*_*ore 6 hbase amazon-s3 region emr

我有HBase集群的问题.

我在EMR emr-5.8.0上托管了一个带有Phoenix的HBase集群,并将其存储为S3.我有1个主站和5个从站4.x大节点.在区域服务器死亡后查询表时,我丢失了数据.我只面对存储模式为S3时遇到此问题,但HDFS工作正常.以下是我遵循的步骤.

  1. 使用hfs复制工厂启动集群为3.
  2. 使用Phoenix创建表并加载数据.
  3. 交叉检查我加载到表中的数据,然后查看数据.
  4. 通常终止了EC2机器,它是集群的一部分,意味着杀死区域服务器.
  5. 我可以看到EMR调整大小并启动​​新节点.
  6. 当我在整个集群稳定后查询表时(通常需要5-10分钟),我看到丢失一些死RS上的数据.

我相信一旦新节点启动,HBase会重放WAL,我也可以在HDFS新RS目录上看到WAL文件.但不知怎的,我没有看到表格中的完整数据.

能不能让我知道可能出现什么问题.如果我必须设置任何属性,请告诉我.

如果您需要,我很乐意提供更多细节.