Java 无法在hadoop中使用dfs创建目录

我正在尝试使用下面的命令创建一个文件夹

manoj@ubuntu:/usr/local/hadoop/bin$ hadoop dfs -mkdir /tmp

但是，我遇到了以下错误：

mkdir: unknown host: hadoop

我已经发布了日志文件，非常感谢您的帮助。我已经在hadoop上安装了单节点。看起来像java unknownhostexception错误。请让我知道如何更正此问题

manoj@ubuntu:/usr/local/hadoop/logs$ cat hadoop-manoj-datanode-ubuntu.log
2014-10-05 13:08:30,621 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: STARTUP_MSG: 
/************************************************************
STARTUP_MSG: Starting DataNode
STARTUP_MSG:   host = ubuntu/127.0.1.1
STARTUP_MSG:   args = []
STARTUP_MSG:   version = 1.2.0
STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1479473; compiled by 'hortonfo' on Mon May  6 06:59:37 UTC 2013
STARTUP_MSG:   java = 1.7.0_65
************************************************************/
2014-10-05 13:08:32,449 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: loaded properties from hadoop-metrics2.properties
2014-10-05 13:08:32,514 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source MetricsSystem,sub=Stats registered.
2014-10-05 13:08:32,519 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Scheduled snapshot period at 10 second(s).
2014-10-05 13:08:32,519 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: DataNode metrics system started
2014-10-05 13:08:34,173 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source ugi registered.
2014-10-05 13:08:34,191 WARN org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Source name ugi already exists!
2014-10-05 13:08:36,439 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.net.UnknownHostException: unknown host: hadoop
    at org.apache.hadoop.ipc.Client$Connection.<init>(Client.java:233)
    at org.apache.hadoop.ipc.Client.getConnection(Client.java:1233)
    at org.apache.hadoop.ipc.Client.call(Client.java:1087)
    at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:229)
    at com.sun.proxy.$Proxy5.getProtocolVersion(Unknown Source)
    at org.apache.hadoop.ipc.RPC.checkVersion(RPC.java:422)
    at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:414)
    at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:392)
    at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:374)
    at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:453)
    at org.apache.hadoop.ipc.RPC.waitForProxy(RPC.java:335)
    at org.apache.hadoop.ipc.RPC.waitForProxy(RPC.java:300)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNode.java:383)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.<init>(DataNode.java:319)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:1698)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:1637)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:1655)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:1781)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:1798)

2014-10-05 13:08:36,443 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down DataNode at ubuntu/127.0.1.1
************************************************************/

---

看起来像是一个配置问题。 我假设您使用的是最新版本的Hadoop—如果是这种情况，您应该使用hdfs命令。因此，请尝试bin/hdfs dfs-ls，看看您的fs命令是否有效。

---

我猜它们不会起作用。在这种情况下，您应该检查core-site.xml中的HDFS设置fs.defaultFS。

转到$HADOOP_HOME并尝试$bin/HADOOP fs-mkdir/tmp

是否正在查找HADOOP fs shell命令。manoj@ubuntu：/usr/local/hadoop$bin/hadoop fs-mkdir/tmp1 mkdir:调用localhost/127.0.0.1:10001连接异常失败：java.net.ConnectException:连接被拒绝似乎您没有启动hdfs或您的Namenode没有运行。确保HDFS运行$bin/start-all.sh。一旦它运行，使用jps命令检查进程NameNode，DataNodeI在/etc/hosts文件中做了一些更改并启动了所有服务，现在hadoop命令工作正常。但是当我使用jps检查进程时，我看到作业跟踪器和任务跟踪器在运行后立即停止。所以我只找到以下进程。作业跟踪器和任务跟踪器发生了什么事，或者这是否正常？？，请让我知道。manoj@ubuntu：/usr/local/hadoop/$jps 3599 DataNode 4359 jps 3460 name node 3737 secondaryname nodejob tracker和task tracker与mapreduce相关。如果您使用start-mapred.sh或start-all.sh，那么当您使用jps时，这些过程就会显示出来。我想你只启动了hdfsyes，我启动all.sh时可以看到job tracker和task tracker，但它们会自动停止。这是我关心的问题。manoj@ubuntu：/usr/local/hadoop$bin/hdfs dfs-mkdir/tmp1 bash:bin/hdfs：没有这样的文件或目录manoj@ubuntu：/usr/local/hadoop/bin$hdfs dfs-mkdir/tmp1未找到命令“hdfs”，您的意思是：程序包“hdf4工具”中的命令“hdfls”universe命令“hfs”来自程序包“hfsutils tcltk”universe hdfs:未找到命令