小编Die*_*oJr的帖子

错误:拆分元数据大小超过 10000000

The job initialization failed: java.io.IOException: Split metadata size exceeded 10000000.当我尝试在 hadoop 上运行作业时收到错误。

互联网搜索表明有将文件mapreduce.job.split.metainfo.maxsize中的选项更改为-1的服务mapred-site.xml。但您无法通过 Google 集群中的文件编辑此选项。

我还尝试使用 通过命令行设置选项-Dmapreduce.job.split.metainfo.maxsize = -1,但无济于事。

我尝试使用以下方法在源代码中添加一个选项:

Configuration config = new Configuration ();
Config.set ("mapreduce.job.split.metainfo.maxsize", "-1");
Run Code Online (Sandbox Code Playgroud)

但它仍然犯同样的错误。备择方案?

java linux hadoop mapreduce bigdata

5
推荐指数
1
解决办法
5346
查看次数

标签 统计

bigdata ×1

hadoop ×1

java ×1

linux ×1

mapreduce ×1