为Lustre配置Hadoop时无法启动名称节点

我正在尝试将hadoop与intel lustre集成。我已将

hadoop-lustre-plugin-3.1.0

添加到

hadoop-2.7.3/lib/native

文件夹中。Lustre安装在

/mnt/Lustre

上。使用

start all.sh

[root@master hadoop]# start-all.sh 
This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
17/04/06 17:36:55 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Incorrect configuration: namenode address dfs.namenode.servicerpc-address or dfs.namenode.rpc-address is not configured.
Starting namenodes on [ ]
... 

core-site.xml：

<property>
  <name>fs.defaultFS</name>
  <value>lustre:///</value>
</property>
<property>
  <name>fs.lustre.impl</name>
  <value>org.apache.hadoop.fs.LustreFileSystem</value>
</property>
<property>
  <name>fs.AbstractFileSystem.lustre.impl</name>
  <value>org.apache.hadoop.fs.LustreFileSystemlustre</value>
</property
<property>
  <name>fs.lustrefs.mount</name>
    <value>/mnt/lustre/hadoop</value>
     <description>This is the directory on Lustre that acts as the root level for Hadoop services</description>
 </property>
<property>
  <name>lustre.stripe.count</name>
  <value>1</value>
</property>
<property>
  <name>lustre.stripe.size</name>
  <value>4194304</value>
</property>
<property>
  <name>fs.block.size</name>
  <value>1073741824</value>
</property>

fs.defaultFS
光泽：///
fs.lustre.impl
org.apache.hadoop.fs.LustreFileSystem
fs.AbstractFileSystem.lustre.impl
org.apache.hadoop.fs.lustrifleSystemLustre
由于
fs.defaultFS
持有特定于lustre的URI，启动脚本无法确定必须在其中启动Namenode的主机

在
hdfs site.xml
中添加此属性

<property>
   <name>dfs.namenode.rpc-address</name>
   <value>namenode_host:port</value>
</property>


dfs.namenode.rpc-address
名称节点\主机：端口
您是否需要透明访问Lustre（例如，使用hdfs://URIs，但在后台访问Lustre）？否则，“启动纱线服务。-不需要HDFS。AFS在这种情况下使用Lustre。”根据以下来源：我已经按照pdf中的步骤提交了使用纱线的作业，但错误为：
[@master~]#纱线jar/opt/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar字数/mnt/lustre/file/mnt/lustre/hadoop/out 17/04/17 17 17 17:21:45警告util.NativeCodeLoader:无法为您的平台加载本机hadoop库。在适用的情况下使用内置java类java.lang.SecurityException:class“org.apache.hadoop.fs.LustreFileSystem"的签名者信息与同一程序包中其他类的签名者信息不匹配
更新的hdfs-site.xml仍然没有启动namenode。日志如下：
$less hadoop-root-namenode-master.tcs.com.log2017-04-17 14:37:24849错误org.apache.hadoop.hdfs.server.common.Storage:未能获取/mnt/lustre/hadoop/namedir/in_use.lock上的锁。如果此存储目录是通过NFS装载的，请确保相应的NFS锁定服务正在运行。java.io.IOException:函数未在sun.nio.ch.FileDispatcherImpl.lock0（本机方法）上实现
yes。在成功格式化namenode后，我尝试启动hadoop，但仍然无法工作<代码>[root@master~]#cd/mnt/lustre/hadoop/namedir/current[root@master当前]#ll total 16-rw-r--r--1个根目录350 Apr 17 14:36 fsimage_0000000000000000000-rw-r--r--1个根目录62 Apr 17 14:36 fsimage_0000000000000000000.md5-rw-r--r--1个根目录2 Apr 17 14:36 seed_txid-rw-r--r--1个根目录203 Apr 17 14:36版本

@Trupti尝试将

dfs.name.dir

更改为不存在的目录光泽。重新格式化并重新启动服务。

<property>
<name>dfs.name.dir</name>
<value>/mnt/lustre/hadoop/hadoop_tmp/namenode</value>
<description>true</description>
</property>

<property>
   <name>dfs.namenode.rpc-address</name>
   <value>namenode_host:port</value>
</property>