在Mapreduce中,我们说映射器产生的输出称为中间数据.
中间数据是否也被复制？
中间数据是暂时的吗？
中间数据何时被删除？是自动删除还是我们需要明确删除它？
Mapper的溢出文件存储在运行Mapper的工作节点的本地文件系统中.类似地,从一个节点流到另一个节点的数据存储在运行任务的工作节点的本地文件系统中.
此本地文件系统路径由hadoop.tmp.dir
property 指定
,默认为'/ tmp'.
在作业完成或失败后,本地文件系统上使用的临时位置会自动清除,您不必执行任何清理过程,它将由框架自动处理.
| 归档时间： |
|
| 查看次数： |
343 次 |
| 最近记录： |