小编avi*_*ash的帖子

Hadoop 2.x 中的辅助 NameNode 使用和高可用性

你能帮我解决以下情况吗?

1)在使用Hadoop V2时,我们是否在生产环境中使用Secondary NameNode?

2) 对于 Hadoop V2,假设我们在主动/被动连接中使用多个 NameNode 以实现高可用性,并且当编辑日志文件变得越来越大时,

编辑日志如何应用于 fsimage?如果是这样,那么在 Namenode 启动期间将巨大的 Edits 日志应用到 Namenode 会很耗时吗?(我们在 hadoop v1 中有 Secondary NameNode 来解决这个问题)

hadoop hdfs hadoop2

2
推荐指数
1
解决办法
2061
查看次数

在MapReduce作业中首先运行Combiner或Partitioner

我很困惑,因为我找到了两个答案.

1)根据Hadoop权威指南 - 第3版,第6章 - Map Side说:"在写入磁盘之前,线程首先将数据划分为与最终将被发送到的reducer相对应的分区.在每个分区中,后台线程按键执行内存中排序,如果有组合器功能,则在排序输出上运行.

2)雅虎开发人员教程(雅虎教程)称Combiner在分区之前运行.

任何人都可以先澄清哪个运行.

hadoop mapreduce hdfs

1
推荐指数
1
解决办法
4943
查看次数

标签 统计

hadoop ×2

hdfs ×2

hadoop2 ×1

mapreduce ×1