第一个hadoop项目错误:"输入路径不存在"

Question

要设置一个简单的hadoop项目,我正在学习本教程:http://ebiquity.umbc.edu/Tutorials/Hadoop/23%20-%20create%20the%20project.html

我的hadoop单节点似乎正在运行.

当我In使用此代码指定文件夹时:

FileInputFormat.setInputPaths(conf, new Path("In"));

我收到此错误:

13/03/03 22:05:27 ERROR security.UserGroupInformation: PriviledgedActionException as:DEVUSER cause:org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: hdfs://localhost:9100/user/DEVUSER/In

目前,该In文件夹是在C:\homedir\hadoop-1.0.4\In

我在哪里需要创建"In"文件夹才能显示在hdfs://localhost:9100/user/DEVUSER/In？我是否需要更新xml文件以指向本地文件系统上的文件夹？

Answer 1

您需要先将输入文件上传到HDFS文件系统:

bin/hadoop fs -mkdir In

将创建一个以/user/DEVUSER/InHDFS 命名的目录.

bin/hadoop fs -put *.txt In

将所有*.txt文件从当前目录复制到群集(HDFS).

您好像跳过了教程中的上传数据一章.跟着它,你的问题应该解决.