在NFS上安装Hadoop

首先，我安装了Hadoop 0.15.2，并设置了一个由3个节点组成的集群：NameNode、DataNode和JobTracker各一个节点。所有守护进程都已启动并正在运行。但是当我发出任何命令时，我会得到上面的错误。例如，当我执行copyFromLocal时，会出现以下错误：

我错过什么了吗

更多详情： 我正在尝试在NFS文件系统上安装Hadoop。我已经安装了1.0.4版本，并尝试运行它，但没有用。1.0.4版本不会启动datanode。数据节点的日志文件为空。因此，我切换回0.15版本，该版本至少启动了所有守护进程

我认为问题是由于底层NFS文件系统造成的，即所有数据节点和主节点使用相同的文件和文件夹。但我不确定事实是否如此。 但是，在正确设置配置参数之后，我看不出有任何理由不能在NFS上运行Hadoop

目前，我正在尝试并弄清楚是否可以根据不同的机器名为不同的机器设置不同的名称和数据目录

配置文件：hadoop-site.xml

 <property>
 <name>fs.default.name</name>
 <value>mumble-12.cs.wisc.edu:9001</value>
 </property>
 <property>
 <name>mapred.job.tracker</name>
 <value>mumble-13.cs.wisc.edu:9001</value>
 </property>
 <property>
 <name>dfs.replication</name>
 <value>1</value>
 </property>
 <property>
 <name>dfs.secondary.info.port</name>
 <value>9002</value>
 </property>
 <property>
 <name>dfs.info.port</name>
 <value>9003</value>
 </property>
 <property>
 <name>mapred.job.tracker.info.port</name>
 <value>9004</value>
 </property>
 <property>
 <name>tasktracker.http.port</name>
 <value>9005</value>
 </property>

使用Hadoop 0.15.2时出错：

[akshar@mumble-12] (38)$ bin/hadoop fs -copyFromLocal lib/junit-3.8.1.LICENSE.txt input

13/04/17 03:22:11 WARN fs.DFSClient: Error while writing.
java.net.SocketException: Connection reset
    at java.net.SocketInputStream.read(SocketInputStream.java:189)
    at java.net.SocketInputStream.read(SocketInputStream.java:121)
    at java.net.SocketInputStream.read(SocketInputStream.java:203)
    at java.io.DataInputStream.readShort(DataInputStream.java:312)
    at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.endBlock(DFSClient.java:1660)
    at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.close(DFSClient.java:1733)
    at org.apache.hadoop.fs.FSDataOutputStream$PositionCache.close(FSDataOutputStream.java:49)
    at org.apache.hadoop.fs.FSDataOutputStream.close(FSDataOutputStream.java:64)
    at org.apache.hadoop.io.IOUtils.copyBytes(IOUtils.java:55)
    at org.apache.hadoop.io.IOUtils.copyBytes(IOUtils.java:83)
    at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:140)
    at org.apache.hadoop.fs.FileSystem.copyFromLocalFile(FileSystem.java:826)
    at org.apache.hadoop.fs.FsShell.copyFromLocal(FsShell.java:120)
    at org.apache.hadoop.fs.FsShell.run(FsShell.java:1360)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:79)
    at org.apache.hadoop.fs.FsShell.main(FsShell.java:1478)
13/04/17 03:22:12 WARN fs.DFSClient: Error while writing.
java.net.SocketException: Connection reset
    at java.net.SocketInputStream.read(SocketInputStream.java:189)
    at java.net.SocketInputStream.read(SocketInputStream.java:121)
    at java.net.SocketInputStream.read(SocketInputStream.java:203)
    at java.io.DataInputStream.readShort(DataInputStream.java:312)
    at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.endBlock(DFSClient.java:1660)
    at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.close(DFSClient.java:1733)
    at org.apache.hadoop.fs.FSDataOutputStream$PositionCache.close(FSDataOutputStream.java:49)
    at org.apache.hadoop.fs.FSDataOutputStream.close(FSDataOutputStream.java:64)
    at org.apache.hadoop.io.IOUtils.copyBytes(IOUtils.java:55)
    at org.apache.hadoop.io.IOUtils.copyBytes(IOUtils.java:83)
    at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:140)
    at org.apache.hadoop.fs.FileSystem.copyFromLocalFile(FileSystem.java:826)
    at org.apache.hadoop.fs.FsShell.copyFromLocal(FsShell.java:120)
    at org.apache.hadoop.fs.FsShell.run(FsShell.java:1360)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:79)
    at org.apache.hadoop.fs.FsShell.main(FsShell.java:1478)
13/04/17 03:22:12 WARN fs.DFSClient: Error while writing.
java.net.SocketException: Connection reset
    at java.net.SocketInputStream.read(SocketInputStream.java:189)
    at java.net.SocketInputStream.read(SocketInputStream.java:121)
    at java.net.SocketInputStream.read(SocketInputStream.java:203)
    at java.io.DataInputStream.readShort(DataInputStream.java:312)
    at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.endBlock(DFSClient.java:1660)
    at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.close(DFSClient.java:1733)
    at org.apache.hadoop.fs.FSDataOutputStream$PositionCache.close(FSDataOutputStream.java:49)
    at org.apache.hadoop.fs.FSDataOutputStream.close(FSDataOutputStream.java:64)
    at org.apache.hadoop.io.IOUtils.copyBytes(IOUtils.java:55)
    at org.apache.hadoop.io.IOUtils.copyBytes(IOUtils.java:83)
    at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:140)
    at org.apache.hadoop.fs.FileSystem.copyFromLocalFile(FileSystem.java:826)
    at org.apache.hadoop.fs.FsShell.copyFromLocal(FsShell.java:120)
    at org.apache.hadoop.fs.FsShell.run(FsShell.java:1360)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:79)
    at org.apache.hadoop.fs.FsShell.main(FsShell.java:1478)
copyFromLocal: Connection reset

---

我能够使用1.1.2版让Hadoop在NFS上运行。它可能适用于其他版本，但我不能保证任何事情

如果您有一个NFS文件系统，那么每个节点都应该可以访问该文件系统。fs.default.name告诉Hadoop要使用的文件系统URI，因此它应该指向本地磁盘。我将假定您的NFS目录已装载到/NFS上的每个节点

在core-site.xml中，您应该定义：

<property>
  <name>fs.default.name</name>
  <value>file:///</value>
</property>

<property>
  <name>hadoop.tmp.dir</name>
  <value>/nfs/tmp</value>
</property>

<property>
  <name>mapred.job.tracker</name>
  <value>node1:8021</value>
</property>

<property>
  <name>mapred.local.dir</name>
  <value>/tmp/mapred-local</value>
</property>

请注意，您需要指定输入和输出位置的完整路径

我还尝试：

bin/hadoop jar hadoop-examples-1.1.2.jar grep /nfs/data/loremIpsum.txt /nfs/out2 lorem

它给我的输出与我在单机版中运行它时的输出相同，因此我假设它运行正常

以下是有关fs.default.name的详细信息：

---

欢迎来到StackOverflow！为了获得有用的反馈，您可能需要提供更多关于您正在尝试执行的操作的详细信息。如果您刚开始使用Hadoop，我强烈建议您使用比0.15.2更新的版本。1.0.4是当前的稳定版本。@MattD我已经在上面编辑的问题中提出了您的建议。@ASGM:谢谢！完成了。

bin/hadoop jar hadoop-examples-1.1.2.jar wordcount /nfs/data/test.text /nfs/out

bin/hadoop jar hadoop-examples-1.1.2.jar grep /nfs/data/loremIpsum.txt /nfs/out2 lorem