那些遇到过的问题

hadoop中每个映射器有一个或多个文件？

use*_*729 4 hadoop mapreduce hadoop-yarn hadoop2

映射器是同时处理多个文件还是映射器一次只能处理一个文件？我想知道默认行为

fra*_*ijo 5

  • 默认情况下,典型的Mapreduce作业遵循每个映射器的一个输入拆分.
  • 如果文件大小大于分割大小(即,它有多个输入分割),则每个文件是多个映射器.
  • 如果文件不像文件那样可拆分,Gzip 或者Distcp文件是最精细的粒度级别,则每个映射器只有一个文件.

  • 是的,这是默认行为.除非您使用CombineFileInputFormat.在分割之前,此文件格式将多个小文件合并为一个更大的文件.然后,不能保证一个映射器只能处理一个文件的数据.如果采用默认行为,您的理解是正确的. (3认同)

归档时间：

查看次数：

2577 次

最近记录：

8 年，9 月 前
相关归档
如何将HiveQL查询的结果输出到CSV？ 75
即使查询中存在分区谓词,也找不到Alias的分区谓词 9
使用mahout和hadoop 8
更新hadoop HDFS文件 5
Amazon EMR 作业失败：因步骤失败而关闭 5
Apache Spark：如何取消代码中的作业并终止正在运行的任务？ 5
本地主机：错误：无法设置数据节点进程32156的优先级 5
Cloudera Manager 有其他选择吗？(CDH) 5
多个扫描对象上的HBase Mapreduce 3
Pydoop Java home没有设置安装问题 2
难疑归档
如何删除远程标签？ 3121
如何在Java中将String转换为int？ 2882
如何测试空的JavaScript对象？ 2730
使用JavaScript在新选项卡(而不是新窗口)中打开URL 1941
将(移动)子目录分离到单独的Git存储库中 1712
如何为"选择"框创建占位符？ 1426
丢弃Git中的本地提交 1304
Git diff对付藏匿处 1265
如何从GET参数中获取值？ 1255
如何在PHP中进行重定向？ 1201