第一个hadoop项目错误:";“输入路径不存在”;

第一个hadoop项目错误:";“输入路径不存在”;,hadoop,Hadoop,要设置一个简单的hadoop项目,我将遵循以下教程: 我的hadoop单节点似乎运行正常 当我使用此代码在文件夹中指定时: FileInputFormat.setInputPaths(conf, new Path("In")); 我收到这个错误: 13/03/03 22:05:27 ERROR security.UserGroupInformation: PriviledgedActionException as:DEVUSER cause:org.apache.hadoop.mapred.I

要设置一个简单的hadoop项目,我将遵循以下教程:

我的hadoop单节点似乎运行正常

当我使用此代码在文件夹中指定
时:

FileInputFormat.setInputPaths(conf, new Path("In"));
我收到这个错误:

13/03/03 22:05:27 ERROR security.UserGroupInformation: PriviledgedActionException as:DEVUSER cause:org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: hdfs://localhost:9100/user/DEVUSER/In
目前
中的
文件夹是在
中的
C:\homedir\hadoop-1.0.4\处创建的


我需要在何处创建“In”文件夹,使其显示在
hdfs://localhost:9100/user/DEVUSER/In
?是否需要更新xml文件以指向本地文件系统上的文件夹?

您需要先将输入文件上载到HDFS文件系统:

bin/hadoop fs -mkdir In
将在HDFS中创建名为
/user/DEVUSER/In
的目录

bin/hadoop fs -put *.txt In
将所有
*.txt
文件从当前目录复制到集群(HDFS)


您似乎跳过了教程中的这一章。遵循它,您的问题就会得到解决。

如果您不想将文件上载到hdfs,而想从本地系统访问文件,请尝试如下设置输入路径

FileInputFormat.setInputPaths(conf, new Path("file://path of the In Folder on your File system "));

正如harpun所说,但在某些情况下,即使您尝试在HDFS下创建该目录,它也不会这样做,并向您提供消息:mkdir:`In':没有这样的文件或目录 作为解决方案,您需要:

bin/hadoop fs-mkdir/tmp/In

然后将文本文件复制到HDFS集群

bin/hadoop fs-put*.txt/tmp/In


亲爱的,这些文件物理存储在文件系统中的什么位置?所以我可以删除输出目录?你是说HDFS中存储的文件?HDFS是一个分布式文件系统。因此,文件存储在多个主机上。您不能直接访问或修改物理文件。您必须使用HDFS命令来删除它们。请将您的查询作为一个新问题发布,并提供足够的详细信息。我从您的信息中得到了答案,我们必须通过命令修改HDFS dir,感谢您提供的信息。我还有另一个问题,您能告诉我为什么在运行jar时出现classNotFound异常,我会给您问题的链接我有图像(jpeg)文件作为“我的地图”程序的输入。我使用bin/hadoop fs-put将所有文件复制到~/hadoop/hds/data/folder。。。。指挥部。我指定/~hadoop/hdfs/data/作为jar文件的输入路径。仍然得到上述错误。我错过了什么,非常感谢您的帮助?