Hadoop 运行WordCount MapReduce时,输入路径不存在
我在ubuntu上安装了一个单节点集群。 我正在尝试执行wordcount程序。 我已经创建了jar文件。 但是当我要执行这个命令时:Hadoop 运行WordCount MapReduce时,输入路径不存在,hadoop,mapreduce,Hadoop,Mapreduce,我在ubuntu上安装了一个单节点集群。 我正在尝试执行wordcount程序。 我已经创建了jar文件。 但是当我要执行这个命令时: hadoop jar '/home/hduser/Desktop/TutorialFolder/firstTutorial.jar' WordCount /home/hduser/Desktop/TutorialFolder/input_data /TutorialFolder/Output 它给出了以下错误: Exception in thread "mai
hadoop jar '/home/hduser/Desktop/TutorialFolder/firstTutorial.jar' WordCount /home/hduser/Desktop/TutorialFolder/input_data /TutorialFolder/Output
它给出了以下错误:
Exception in thread "main"
org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist:
hdfs://localhost:9000/home/hduser/Desktop/TutorialFolder/input_data
at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.singleThreadedListStatus(FileInputFormat.java:323)
如果在伪分布式模式下运行,则输入路径必须存在于HDFS上,HDFS上没有桌面文件夹 运行一些
hdfs dfs-ls/home/hduser
检查可用的内容,并将一些文件放在那里
如果该文件夹不存在,您应该返回教程并设置HDFS
运行hdfs-dfs-mkdir-p/home/hduser
注意:您可能会收到一个“权限被拒绝”错误,该错误说明提供给mapreduce的输入和输出路径必须是有效的HDFS路径,除非您在本地模式下运行Hadoop 此处传递的输入路径
/home/hduser/Desktop/TutorialFolder/Input_data
看起来像本地目录。在HDFS中创建类似的结构,并将输入数据上载到HDFS中的该目录
hdfs dfs -mkdir -p /wordcount/input_data
hdfs dfs -put /home/hduser/Desktop/TutorialFolder/input_data/ /wordcount/input_data/
此外,输出路径必须采用HDFS格式。
并使用HDFS路径运行jar
hadoop jar /home/hduser/Desktop/TutorialFolder/firstTutorial.jar WordCount /wordcount/input_data /wordcount/output
ls:`/home/hduser/':没有这样的文件或目录是的,没错。您的错误不是字数,它没有HDFS设置。。。所以运行
hdfs-dfs-mkdir-p/home/hduser
就行了,谢谢。我需要通过单击导航到哪里,以查看存储在hdfs中的数据。通过我知道的命令。转到http://localhost:50070
,选择实用程序-->浏览文件系统
,您应该能够查看在HDFS中创建的文件夹。