在GPFS上运行Hadoop

hadoop从fs.default.name选项派生出哪些其他选项

我试图让hadoop在GPFS而不是HDFS上运行。我已经将hadoop配置为使用IBM提供的libgpfs.so、libgpfshadoop.so和hadoop-1.1.1-gpfs.jar库。 我怀疑core-site.xml配置和启动namenode时遇到了问题。SSH工作正常，配置正确

使用以下命令启动namenode：

sbin/hadoop-daemon.sh --config $CONFIG_DIR --script hdfs start namenode

结果：

014-12-05 14:55:50,819 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: fs.defaultFS is gpfs:///
2014-12-05 14:55:50,941 WARN org.apache.hadoop.util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
2014-12-05 14:55:51,063 FATAL org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode.
java.lang.IllegalArgumentException: Invalid URI for NameNode address (check fs.defaultFS): gpfs:/// has no authority.
    at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:423)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:413)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.getRpcServerAddress(NameNode.java:464)

我的核心站点配置：

<configuration>
    <property>
    <name>hadoop.tmp.dir</name>
        <value>/tmp/hadoop</value>
    </property>
    <property>
    <name>fs.default.name</name>
        <value>gpfs:///</value>
    </property>
    <property>
    <name>fs.gpfs.impl</name>
        <value>org.apache.hadoop.fs.gpfs.GlobalParallelFileSystem</value>
    </property>
    <property>
    <name>gpfs.mount.dir</name>
        <value>/mnt/gpfs</value>
    </property>
</configuration>

hadoop.tmp.dir
/tmp/hadoop
fs.default.name
gpfs：///
fs.gpfs.impl
org.apache.hadoop.fs.gpfs.GlobalParallelFileSystem
gpfs.mount.dir
/mnt/gpfs

我认为hadoop希望fs.default.name包含它用来传播其他配置选项的ip和端口，但是因为我使用的是GPFS，所以我不需要这样做

一个想法。。。如果使用GPFS，是否需要运行namenode？我可以用jobtracker运行hadoop吗