在Eclipse中使用Hadoop MapReduce时出错
当我执行a时,我得到以下错误。在Eclipse中使用Hadoop MapReduce时出错,eclipse,hadoop,mapreduce,Eclipse,Hadoop,Mapreduce,当我执行a时,我得到以下错误。 这必须是路径上的一些变化,但我无法理解。 有什么想法吗 16:35:39 INFO mapred.JobClient: Task Id : attempt_201001151609_0001_m_000006_0, Status : FAILED java.io.FileNotFoundException: File C:/tmp/hadoop-Shwe/mapred/local/taskTracker/jobcache/job_201001151609_0001
这必须是路径上的一些变化,但我无法理解。
有什么想法吗
16:35:39 INFO mapred.JobClient: Task Id : attempt_201001151609_0001_m_000006_0, Status : FAILED
java.io.FileNotFoundException: File C:/tmp/hadoop-Shwe/mapred/local/taskTracker/jobcache/job_201001151609_0001/attempt_201001151609_0001_m_000006_0/work/tmp does not exist.
at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:361)
at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:245)
at org.apache.hadoop.mapred.TaskRunner.setupWorkDir(TaskRunner.java:519)
at org.apache.hadoop.mapred.Child.main(Child.java:155)
考虑到错误消息(
[…]6_0/work/tmp不存在
),首先要检查的问题是:
- 在
c:\tmp
- 要正确运行的初始化步骤:请参阅
窗口>打开透视图
和显示视图
下
- 单击
视图右上角的蓝色大象。它将弹出一个配置窗口Map/Reduce
- 为位置名称键入任意名称。我刚刚称之为localhost集群
- 设置Map/Reduce主机和DFS主机的端口号。在conf/hadoop-
中分别查找“site.xml
”和“mapred.job.tracker
”。如果不在该文件中,那么它可能在dfs.default.name
或hadoop default.xml
中hadoop env.xml
- 单击“
”选项卡并设置“Advanced Parameters
”参数。由于某些原因,当您在“常规”选项卡中更改它时,它不会自动更改mapred.job.tracker
- 用户名应该是hadoop的所有者。对我来说,这只是我的登录,其他人为hadoop创建单独的“hadoop”用户
- 如果所有操作都正确,则应该能够单击左侧的三角形以跨越层次视图
检查core-site.xml和hdfs-site.xml以查看它们的地址。他们两个都应该是hdfs://localhost:[端口]或文件://通常,如果您使用的是cdh 5、cloudera quickstart VM,则它分别为8021和8020,除非您进行其他配置