Fatal编程技术网
  • hadoop/
  • Hadoop tasktracker无法启动

Hadoop tasktracker无法启动

hadoop

Hadoop tasktracker无法启动,hadoop,Hadoop,我是hadoop新手。我在mapred配置中提到了localdir和system dir。错误日志显示无法创建目录，因此启动失败 root@SYS-01:/etc/hadoop/conf.apt_hyperspace# ls -l /hyperspace/dfs/ total 8 drwxr-xr-x 2 mapred hadoop 4096 2013-05-24 16:25 mapred drwxr-xr-x 5 hdfs hadoop 4096 2013-05-24 15:45 nn

我是hadoop新手。我在mapred配置中提到了localdir和system dir。错误日志显示无法创建目录，因此启动失败

root@SYS-01:/etc/hadoop/conf.apt_hyperspace# ls -l /hyperspace/dfs/
total 8
drwxr-xr-x 2 mapred hadoop 4096 2013-05-24 16:25 mapred
drwxr-xr-x 5 hdfs   hadoop 4096 2013-05-24 15:45 nn
mapred site.xml

<configuration>

<property>
 <name>mapred.local.dir</name>
 <value>/hyperspace/dfs/mapred</value>
</property>

<property>
 <name>mapred.job.tracker</name>
 <value>SYS-01:9101</value>
</property>

<property>
 <name>mapred.system.dir</name>
 <value>hdfs://hyperspace/mapred</value>
</property>

</configuration>


mapred.local.dir
/超空间/dfs/mapred
mapred.job.tracker
SYS-01:9101
mapred.system.dir
hdfs://hyperspace/mapred
错误-

    2013-05-24 16:25:54,964 INFO org.apache.hadoop.mapred.TaskTracker: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting TaskTracker
STARTUP_MSG:   host = SYS-01/10.15.21.42
STARTUP_MSG:   args = []
STARTUP_MSG:   version = 0.20.2-cdh3u6
STARTUP_MSG:   build = file:///data/1/tmp/nightly_2013-03-20_11-32-44_3/hadoop-0.20-0.20.2+923.479-1~lucid -r efb405d2aa54039bdf39e0733cd0bb9423a1eb0a; compiled by 'root' on Wed Mar 20 13:10:08 PDT 2013
************************************************************/
2013-05-24 16:25:55,084 INFO org.apache.hadoop.util.NativeCodeLoader: Loaded the native-hadoop library
2013-05-24 16:25:55,384 INFO org.mortbay.log: Logging to org.slf4j.impl.Log4jLoggerAdapter(org.mortbay.log) via org.mortbay.log.Slf4jLog
2013-05-24 16:25:55,440 INFO org.apache.hadoop.http.HttpServer: Added global filtersafety (class=org.apache.hadoop.http.HttpServer$QuotingInputFilter)
2013-05-24 16:25:55,460 WARN org.apache.hadoop.mapred.TaskTracker: TaskTracker local dir /hyperspace/dfs/mapred error can not create directory: /hyperspace/dfs/mapred, removing from local dirs
2013-05-24 16:25:55,461 ERROR org.apache.hadoop.mapred.TaskTracker: Can not start task tracker because org.apache.hadoop.util.DiskChecker$DiskErrorException: No mapred local directories are writable
        at org.apache.hadoop.mapred.TaskTracker$LocalStorage.checkDirs(TaskTracker.java:265)
        at org.apache.hadoop.mapred.TaskTracker.<init>(TaskTracker.java:1633)
        at org.apache.hadoop.mapred.TaskTracker.main(TaskTracker.java:3940)

2013-05-24 16:25:55,462 INFO org.apache.hadoop.mapred.TaskTracker: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down TaskTracker at SYS-01/10.195.241.242
************************************************************/

2013-05-24 16:25:54964 INFO org.apache.hadoop.mapred.TaskTracker:STARTUP\u MSG:
/************************************************************
启动消息：正在启动TaskTracker
启动消息：主机=SYS-01/10.15.21.42
启动消息：args=[]
启动消息：版本=0.20.2-cdh3u6
启动\u消息：生成=file:///data/1/tmp/nightly_2013-03-20_11-32-44_3/hadoop-0.20-0.20.2+923.479-1~lucid-r efb405d2aa54039bdf39e0733cd0bb9423a1eb0a；由“root”于2013年3月20日星期三13:10:08 PDT编制
************************************************************/
2013-05-24 16:25:55084 INFO org.apache.hadoop.util.NativeCodeLoader:加载了本机hadoop库
2013-05-24 16:25:55384 INFO org.mortbay.log：通过org.mortbay.log.Slf4jLog登录到org.slf4j.impl.Log4jLoggerAdapter（org.mortbay.log）
2013-05-24 16:25:55440信息org.apache.hadoop.http.HttpServer：添加了全局过滤器安全性（class=org.apache.hadoop.http.HttpServer$QuotingInputFilter）
2013-05-24 16:25:55460警告org.apache.hadoop.mapred.TaskTracker:TaskTracker本地目录/hyperspace/dfs/mapred错误无法创建目录：/hyperspace/dfs/mapred，正在从本地目录删除
2013-05-24 16:25:55461错误org.apache.hadoop.mapred.TaskTracker:无法启动任务跟踪器，因为org.apache.hadoop.util.DiskChecker$DiskErrorException:没有可写的映射本地目录
位于org.apache.hadoop.mapred.TaskTracker$LocalStorage.checkDirs（TaskTracker.java:265）
位于org.apache.hadoop.mapred.TaskTracker.（TaskTracker.java:1633）
位于org.apache.hadoop.mapred.TaskTracker.main（TaskTracker.java:3940）
2013-05-24 16:25:55462 INFO org.apache.hadoop.mapred.TaskTracker:SHUTDOWN\u MSG:
/************************************************************
关机消息：在SYS-01/10.195.241.242关闭TaskTracker
************************************************************/
您是否检查了目录dfs的权限。我正在运行一个测试实例，并通过将权限更改为777解决了这个问题。

这是一个伪群集（单节点）？@ChrisWhite-这是一个四机群集。您如何启动服务（手动或通过cloudera manager UI）？@ChrisWhite-手动用户是否“映射”了启动tasktracker的用户？你的“ls”是用“root”完成的，所以也许…将权限设置为777肯定是一个糟糕的主意，即使它看起来有效，因为你正在向未来的问题敞开大门。是的，我知道它只是一个测试平台，所以没有什么比未来的问题更糟糕的了。我只是建议检查一下权限。我的案例也可能是其他许可问题，但出于测试目的，目前对我来说还可以。