你能帮我解决以下情况吗?
1)在使用Hadoop V2时,我们是否在生产环境中使用Secondary NameNode?
2) 对于 Hadoop V2,假设我们在主动/被动连接中使用多个 NameNode 以实现高可用性,并且当编辑日志文件变得越来越大时,
编辑日志如何应用于 fsimage?如果是这样,那么在 Namenode 启动期间将巨大的 Edits 日志应用到 Namenode 会很耗时吗?(我们在 hadoop v1 中有 Secondary NameNode 来解决这个问题)
我很困惑,因为我找到了两个答案.
1)根据Hadoop权威指南 - 第3版,第6章 - Map Side说:"在写入磁盘之前,线程首先将数据划分为与最终将被发送到的reducer相对应的分区.在每个分区中,后台线程按键执行内存中排序,如果有组合器功能,则在排序输出上运行.
2)雅虎开发人员教程(雅虎教程)称Combiner在分区之前运行.
任何人都可以先澄清哪个运行.