Windows上的Hadoop安装：无法为您的平台加载本机Hadoop库。。。在适用的情况下使用内置java类

我越来越无法为您的平台加载本机hadoop库。。。在我的windows 10上尝试安装hadoop 2.8.3版时，如果适用，请使用内置java类

我在hadoop-env.cmd文件中设置了以下环境变量： 设置HADOOP\u OPTS=%HADOOP\u OPTS%-Djava.library.path=%HADOOP\u HOME%/lib/native

此外，我还添加了以下配置

纱线站点.xml

<configuration>
   <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
   </property>
   <property>
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>  
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
   </property>
</configuration>

纱线.节点管理器.辅助服务
mapreduce_shuffle
warn.nodemanager.auxservices.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler

core site.xml:

<configuration>
   <property>
       <name>fs.defaultFS</name>
       <value>hdfs://localhost:9000</value>
   </property>
</configuration>

<configuration>
   <property>
       <name>dfs.replication</name>
       <value>1</value>
   </property>
   <property>
       <name>dfs.namenode.name.dir</name>
       <value>/F:/tools/hadoop-2.8.3/data/namenode</value>
   </property>
   <property>
       <name>dfs.datanode.data.dir</name>
       <value>/F:/tools/hadoop-2.8.3/data/datanode</value>
   </property>
</configuration>

<configuration>
   <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>
</configuration>

I have renamed mapred-site.xml.template file to mapred-site.xml

fs.defaultFS
hdfs://localhost:9000

hdfs site.xml:

<configuration>
   <property>
       <name>fs.defaultFS</name>
       <value>hdfs://localhost:9000</value>
   </property>
</configuration>

<configuration>
   <property>
       <name>dfs.replication</name>
       <value>1</value>
   </property>
   <property>
       <name>dfs.namenode.name.dir</name>
       <value>/F:/tools/hadoop-2.8.3/data/namenode</value>
   </property>
   <property>
       <name>dfs.datanode.data.dir</name>
       <value>/F:/tools/hadoop-2.8.3/data/datanode</value>
   </property>
</configuration>

<configuration>
   <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>
</configuration>

I have renamed mapred-site.xml.template file to mapred-site.xml

dfs.replication
1.
dfs.namenode.name.dir
/F:/tools/hadoop-2.8.3/data/namenode
dfs.datanode.data.dir
/F:/tools/hadoop-2.8.3/data/datanode

mapred site.xml:

<configuration>
   <property>
       <name>fs.defaultFS</name>
       <value>hdfs://localhost:9000</value>
   </property>
</configuration>

<configuration>
   <property>
       <name>dfs.replication</name>
       <value>1</value>
   </property>
   <property>
       <name>dfs.namenode.name.dir</name>
       <value>/F:/tools/hadoop-2.8.3/data/namenode</value>
   </property>
   <property>
       <name>dfs.datanode.data.dir</name>
       <value>/F:/tools/hadoop-2.8.3/data/datanode</value>
   </property>
</configuration>

<configuration>
   <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>
</configuration>

I have renamed mapred-site.xml.template file to mapred-site.xml

mapreduce.framework.name
纱线
我已将mapred-site.xml.template文件重命名为mapred-site.xml

如果我在这里做错了什么，请告诉我

---

我被困在这个安装这么久。请提供帮助。

windows操作系统不是安装hadoop的最佳选择。您可以使用ubuntu进行安装，您可以双重启动您的系统，并且可以在单个系统中同时使用这两种操作系统。对于在ubuntu中安装hadoop，您可以使用以下操作系统。

我在windows 10上遇到了hadoop 2.9.1的相同问题。我能够格式化namenode，但无法启动dfs

我使用visual studio 2017社区、mvn等，按照building.txt建议，在我的windows平台开发主机（包括winutils.exe和hadoop.dll）中正确构建源代码，但是，当我尝试在干净的Windows10安装中运行时，我在启动dfs节点时遇到了无法加载本机hadoop库的错误

我运行winutils.exe并给出一个错误：

“缺少VCRuntime140.dll”

我安装了vc++2015 x64可再发行文件并解决了这个问题，namenode和datanode启动。除了HADOOP_HOME之外，无需设置环境变量，并遵循中解释的HADOOP-env.com中的编辑

另外，这是hadoop checknative命令的结果：

C:\APACHE\HADOOP\bin>HADOOP checknative
18/09/08 18:23:35警告bzip2.bzip2工厂：未能加载/初始化本机-bzip2库系统本机，将使用纯Java版本
18/09/08 18:23:35警告zlib.ZlibFactory:无法加载/初始化本机zlib库
winutils:true C:\APACHE\HADOOP\bin\winutils.exe
本机库检查：
hadoop:true C:\APACHE\hadoop\bin\hadoop.dll
zlib:false
snappy:false
zstd:false
lz4：真实版本：10301
bzip2:false
openssl:错误生成不支持openssl。 winutils:true C:\APACHE\HADOOP\bin\winutils.exe

---

这些xml文件都无法修复该警告。你想解决的实际问题是什么？Hadoop应该在没有本机库的情况下工作，只是不太理想（此外，在Windows上运行它已经不是最佳的了），谢谢您的评论，但是按照[site，hadoop2及以后版本，它本机支持windows，那么这意味着什么呢？您得到的声明不是错误，只是警告您可以忽略它不会影响您的工作hadoop@Guarav这意味着您必须为自己的操作系统编译这些本机源代码。Hadoop二进制下载中不包括它们