相关疑难解决方法(0)

在Hadoop伪分布式模式下充分利用所有核心

我在我的4核笔记本电脑上以伪分布式模式运行任务.如何确保有效使用所有核心.目前,我的工作跟踪器显示一次只执行一项工作.这是否意味着只使用一个核心?

以下是我的配置文件.

CONF /芯-site.xml中:

<configuration>
   <property>
       <name>fs.default.name</name>
       <value>hdfs://localhost:9000</value>
   </property>
 </configuration>
Run Code Online (Sandbox Code Playgroud)

CONF/HDFS-site.xml中:

<configuration>
  <property>
       <name>dfs.replication</name>
       <value>1</value>
  </property>
</configuration>
Run Code Online (Sandbox Code Playgroud)

CONF/mapred-site.xml中:

<configuration>
   <property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>  
   </property>

</configuration>
Run Code Online (Sandbox Code Playgroud)

编辑:根据答案,我需要在mapred-site.xml中添加以下属性

 <property>
     <name>mapred.map.tasks</name> 
     <value>4</value> 
  </property>
  <property>
     <name>mapred.reduce.tasks</name> 
     <value>4</value> 
  </property>
Run Code Online (Sandbox Code Playgroud)

java hadoop mapreduce mahout

8
推荐指数
2
解决办法
2577
查看次数

标签 统计

hadoop ×1

java ×1

mahout ×1

mapreduce ×1