auxService:mapreduce_shuffle不存在

Sha*_*oor 2 mysql hadoop hdfs sqoop hadoop-yarn

当我尝试运行以下命令时:

# sqoop import --connect jdbc:mysql://IP Address/database --username root --password PASSWORD --table table_name --m 1
Run Code Online (Sandbox Code Playgroud)

将数据从 mysql 数据库导入到 HDFS 时,出现错误:

auxService:mapreduce_shuffle 不存在。

搜索并浏览了很多网站,没有任何帮助。

如何摆脱这个问题?如果需要更多输入,请告诉我。

SMA*_*SMA 5

它是您在yarn-site.xml 中缺少的条目。将这些条目应用到名称节点和数据节点中。如果您阅读此http://dataheads.wordpress.com/2013/11/21/hadoop-2-setup-on-64-bit-ubuntu-12-04-part-1/,您将看到yarn-site .xml必须包含以下条目:

 <property>
     <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
Run Code Online (Sandbox Code Playgroud)

当你编写aux-services时要小心,因为中间的“-”可能会给你带来这个问题。

  • 根据上述 URL,yarn-site.xml 中存在的两个属性条目是在我的设置中配置的,但我仍然遇到相同的错误。 (2认同)
  • 编辑yarn-site.xml后不要忘记重新启动yarn。 (2认同)