Fatal编程技术网
  • hadoop/
  • Hadoop Mapreduce错误输入路径不存在：hdfs://localhost:54310/user/hduser/input"

Hadoop Mapreduce错误输入路径不存在：hdfs://localhost:54310/user/hduser/input"

hadoop mapreduce

Hadoop Mapreduce错误输入路径不存在：hdfs://localhost:54310/user/hduser/input",hadoop,mapreduce,hdfs,Hadoop,Mapreduce,Hdfs,我已经在Ubuntu Linux 15.04中安装了hadoop 2.6，运行良好。但是，当我运行示例测试mapreduce程序时，会出现以下错误： org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://localhost:54310/user/hduser/input. 请帮帮我。下面是错误的完整详细信息 hduser@krishadoop:/usr/loc

我已经在Ubuntu Linux 15.04中安装了hadoop 2.6，运行良好。但是，当我运行示例测试mapreduce程序时，会出现以下错误：

org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://localhost:54310/user/hduser/input.
请帮帮我。下面是错误的完整详细信息

hduser@krishadoop:/usr/local/hadoop/sbin$ hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount input output
Picked up JAVA_TOOL_OPTIONS: -javaagent:/usr/share/java/jayatanaag.jar 
15/08/24 15:22:37 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
15/08/24 15:22:38 INFO Configuration.deprecation: session.id is deprecated. Instead, use dfs.metrics.session-id
15/08/24 15:22:38 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId=
15/08/24 15:22:39 INFO mapreduce.JobSubmitter: Cleaning up the staging area file:/app/hadoop/tmp/mapred/staging/hduser1122930879/.staging/job_local1122930879_0001
org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://localhost:54310/user/hduser/input
    at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.singleThreadedListStatus(FileInputFormat.java:321)
    at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.listStatus(FileInputFormat.java:264)
    at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.getSplits(FileInputFormat.java:385)
    at org.apache.hadoop.mapreduce.JobSubmitter.writeNewSplits(JobSubmitter.java:597)
    at org.apache.hadoop.mapreduce.JobSubmitter.writeSplits(JobSubmitter.java:614)
    at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:492)
    at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1296)
    at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1293)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1628)
    at org.apache.hadoop.mapreduce.Job.submit(Job.java:1293)
    at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1314)
    at org.apache.hadoop.examples.WordCount.main(WordCount.java:87)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.hadoop.util.ProgramDriver$ProgramDescription.invoke(ProgramDriver.java:71)
    at org.apache.hadoop.util.ProgramDriver.run(ProgramDriver.java:144)
    at org.apache.hadoop.examples.ExampleDriver.main(ExampleDriver.java:74)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:136)
好像你提到了一个错误的输入路径。Hadoop正在
/user/hduser/input
处搜索输入路径。Hadoop也遵循类似unix的树结构。如果只提到一个目录
input
，它将被视为
/user/{username}/input

hadoop fs -mkdir -p /user/hduser/input

hadoop fs -put <datafile>  /user/hduser/input
hadoop fs-mkdir-p/user/hduser/input hadoop fs-put/user/hduser/input
在执行hadoop作业之前，必须创建并上传输入。例如，如果需要上载
input.txt
文件，则应执行以下操作：

$HADOOP_HOME/bin/hdfs dfs -mkdir /user/hduser/input
$HADOOP_HOME/bin/hdfs dfs -copyFromLocal $HADOOP_HOME/input.txt /user/hduser/input/input.txt
第一行创建目录，另一行将您的输入文件上载到hdfs（hadoop fylesystem）中。

当您使用输入和输出文件/目录编译任何jar文件时，您应该确保输入文件已经创建（在指定的路径中）并且输出文件不存在

如果要将文本文件作为输入文件，请首先将文本文件从本地文件系统复制到hdfs，并使用以下命令进行编译

hadoop fs -copyFromLocal /input.txt /user/hduser/input.txt
/usr/local/hadoop/sbin$ yarn jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount /user/hduser/input.txt /output
/input.txt可以替换为任何文本文件的地址。

如果您在日志中发现
/bin/bash:/bin/java:没有这样的文件或目录
，请尝试在/etc/hadoop/hadoop env.sh中设置java_HOME

如果您在物理上看到此路径（文件），并且仍然得到错误，您可能混淆了本地文件系统和Hadoop分布式文件系统（HDFS）。要运行此map reduce，此文件应位于HDFS中（仅在本地文件系统中定位将不起作用）

您可以通过此命令将本地文件系统文件导入HDFS

hadoop fs -put <local_file_path> <HDFS_diresctory> 

hadoop fs -ls <HDFS_path>
hadoop fs-put 通过此命令确认导入的文件存在于HDFS中

hadoop fs -put <local_file_path> <HDFS_diresctory> 

hadoop fs -ls <HDFS_path>
hadoop fs-ls
您需要在本地模式下启动清管器，而不是群集节点：

pig-x local程序无法找到输入的Hadoop路径。它在本地系统文件中搜索，而不是在Hadoop的DFS中搜索

当您的程序能够定位HDFS位置时，此问题将消失。我们需要让程序理解配置文件中给出的HDFS位置。为此，请在程序代码中添加这些行

Configuration conf = new Configuration();

conf.addResource(new Path("/usr/local/hadoop/hadoop-2.7.3/etc/hadoop/core-site.xml"));
conf.addResource(new Path("/usr/local/hadoop/hadoop-2.7.3/etc/hadoop/hdfs-site.xml"));
  • 您应该在HDFS中创建目录： 例如，“hadoop fs-mkdir/input_dir”
  • 然后运行MapReduce程序。您应该提到输入目录的绝对路径，因此格式应该是：
    hadoop jar jarFileName.jar className/input\u dir/outputdir
    right
    • 以下是错误的，因为它是相对路径
    hadoop jar jarFileName.jar className input\u dir outputdir错误

    应该是什么？是要加载到hdfs中的文件的绝对路径名。这是hdfs建模时使用的命令。grunt>pig-xmapreducethis在使用localmode时使用。如果我们不运行此命令，那么它将提供错误文件not found…]（）查看更多信息，或者您可以从中查找终端