Warning: file_get_contents(/data/phpspider/zhask/data//catemap/6/eclipse/8.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
在Eclipse中使用Hadoop MapReduce时出错_Eclipse_Hadoop_Mapreduce - Fatal编程技术网

在Eclipse中使用Hadoop MapReduce时出错

在Eclipse中使用Hadoop MapReduce时出错,eclipse,hadoop,mapreduce,Eclipse,Hadoop,Mapreduce,当我执行a时,我得到以下错误。 这必须是路径上的一些变化,但我无法理解。 有什么想法吗 16:35:39 INFO mapred.JobClient: Task Id : attempt_201001151609_0001_m_000006_0, Status : FAILED java.io.FileNotFoundException: File C:/tmp/hadoop-Shwe/mapred/local/taskTracker/jobcache/job_201001151609_0001

当我执行a时,我得到以下错误。
这必须是路径上的一些变化,但我无法理解。
有什么想法吗

16:35:39 INFO mapred.JobClient: Task Id : attempt_201001151609_0001_m_000006_0, Status : FAILED
java.io.FileNotFoundException: File C:/tmp/hadoop-Shwe/mapred/local/taskTracker/jobcache/job_201001151609_0001/attempt_201001151609_0001_m_000006_0/work/tmp does not exist.
    at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:361)
    at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:245)
    at org.apache.hadoop.mapred.TaskRunner.setupWorkDir(TaskRunner.java:519)
    at org.apache.hadoop.mapred.Child.main(Child.java:155)

考虑到错误消息(
[…]6_0/work/tmp不存在
),首先要检查的问题是:

  • c:\tmp
  • 要正确运行的初始化步骤:请参阅
摘录:

如果安装正确,应该能够启动MapReduce透视图和Map/Reduce视图。它们分别位于
窗口>打开透视图
显示视图

  • 单击
    Map/Reduce
    视图右上角的蓝色大象。它将弹出一个配置窗口
  • 为位置名称键入任意名称。我刚刚称之为localhost集群
  • 设置Map/Reduce主机和DFS主机的端口号。在conf/hadoop-
    site.xml
    中分别查找“
    mapred.job.tracker
    ”和“
    dfs.default.name
    ”。如果不在该文件中,那么它可能在
    hadoop default.xml
    hadoop env.xml
  • 单击“
    Advanced Parameters
    ”选项卡并设置“
    mapred.job.tracker
    ”参数。由于某些原因,当您在“常规”选项卡中更改它时,它不会自动更改
  • 用户名应该是hadoop的所有者。对我来说,这只是我的登录,其他人为hadoop创建单独的“hadoop”用户
  • 如果所有操作都正确,则应该能够单击左侧的三角形以跨越层次视图

检查core-site.xml和hdfs-site.xml以查看它们的地址。他们两个都应该是hdfs://localhost:[端口]或文件://

通常,如果您使用的是cdh 5、cloudera quickstart VM,则它分别为8021和8020,除非您进行其他配置