我对hadoop相当新鲜.为了运行一些基准测试,我需要各种hadoop配置进行比较.
我想知道从DFS中移除hadoop slave的方法(不再运行datanode守护程序),而不是Mapred(继续运行tasktracker),反之亦然.AFAIK,有一个用于此类hadoop节点的单个从属文件,而不是用于DFS和Mapred的单独从属文件.
目前,我试图在从属节点上启动DFS和Mapred,然后杀死从属节点上的datanode.但是,将该节点放入HDFS GUI上的"死节点"需要一段时间.可以调整任何参数以使此超时更快？
Thankssss
我正在开发一个分布式键值系统(或数据存储),它使用levelDB作为后端的嵌入式数据库库.
我希望一个节点/机器托管多个表(用于复制和负载平衡).我理解levelDB没有表的概念,所以我无法以表的形式对数据进行逻辑分区(因此不能将这些表用作我的基本分发单元).
我的问题是:是否在levelDB的单个实例中提供了多个"逻辑表"？
据我所知,我可以在我的节点上运行多个levelDB实例,每个实例处理一个表.但是我不想那样做,因为在这种情况下,当同时访问这些多个数据库实例时,会有严重的争用(我相信在磁盘上).虽然在单个DB实例中具有多个逻辑表,但可以为我提供levelDB优化的优势,以最大限度地减少磁盘访问.