Hadoop 2.2.0中HDFS的配置文件在哪里?

Hadoop 2.2.0中HDFS的配置文件在哪里?,hadoop,configuration,hdfs,configuration-files,Hadoop,Configuration,Hdfs,Configuration Files,我正在研究Hadoop,目前我正在尝试建立一个Hadoop 2.2.0单节点。我下载了最新的发行版,解压缩了它,现在我正在尝试设置Hadoop分布式文件系统(HDFS) 现在,我正试图按照可用的Hadoop指令操作,但我完全迷路了 在左栏中可以看到对以下文件的引用: core-default.xml hdfs-default.xml mapred-default.xml warn-default.xml 但是这些文件是怎样的呢 我找到了/etc/hadoop/hdfs-site.xml,但它

我正在研究Hadoop,目前我正在尝试建立一个Hadoop 2.2.0单节点。我下载了最新的发行版,解压缩了它,现在我正在尝试设置Hadoop分布式文件系统(HDFS)

现在,我正试图按照可用的Hadoop指令操作,但我完全迷路了

在左栏中可以看到对以下文件的引用:

  • core-default.xml
  • hdfs-default.xml
  • mapred-default.xml
  • warn-default.xml
但是这些文件是怎样的呢

我找到了/etc/hadoop/hdfs-site.xml,但它是空的

我找到了/share/doc/hadoop/hadoop project dist/hadoop common/core-default.xml,但它只是一个文档

那么,为了配置HDFS,我必须修改哪些文件?从何处读取deaults值


提前感谢您的帮助。

所有配置文件都将位于etc/hadoop/目录中提取的tar.gz文件中。hdfs-site.xml可以是hdfs-site.xml.template。您需要将其重命名为hdfs-site.xml


如果要查看hdfs的选项,请检查share/doc/hadoop/hadoop project dist/hadoop hdfs/hdfs default.xml中tarball中的文档,这些文件都位于hadoop/conf目录中

要设置HDFS,必须配置core-site.xml和HDFS-site.xml

HDFS有两种工作模式:分布式(多节点集群)和伪分布式(单机集群)

对于伪分布式模式,您必须配置:

在core-site.xml中:

<!-- namenode -->
<property>
  <name>fs.default.name</name>
  <value>hdfs://localhost:8020</value>
</property>
<-- storage directories for HDFS - the hadoop.tmp.dir property, whose default is /tmp/hadoop-${user.name} -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/your-dir/</value>
</property>

fs.default.name
hdfs://localhost:8020
在hdfs-site.xml中:

<!-- namenode -->
<property>
  <name>fs.default.name</name>
  <value>hdfs://localhost:8020</value>
</property>
<-- storage directories for HDFS - the hadoop.tmp.dir property, whose default is /tmp/hadoop-${user.name} -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/your-dir/</value>
</property>

hadoop.tmp.dir
/你的董事/
每个属性都有其硬编码的默认值

在启动HDFS之前,请记住为hadoop用户设置ssh无密码登录

附言

< >从Apache下载Hadoop,可以考虑切换到Hadoop分布:

,HortonWorks或MapR


如果您安装Cloudera CDH或Hortonworks HDP,您将在/etc/hadoop/conf/

中找到这些文件,您可以在/usr/lib/hadoop-2.2.0/etc/hadoop中找到所有XML

霍顿工厂的位置为


对于
hadoop 3.2
,可以在以下位置找到默认配置:

  • 本地安装

    $HADOOP_HOME/share/doc/hadoop/
        hadoop-project-dist/
            hadoop-common/
                core-default.xml
            hadoop-hdfs/
                hdfs-default.xml
    
        hadoop-mapreduce-client/
            hadoop-mapreduce-client-core/
                mapred-default.xml
    
        hadoop-yarn/
            hadoop-yarn-common/
                yarn-default.xml
    
  • 在线(位于左下角的
    配置部分):

  • 有效配置,在本地实例的web控制台中。
    如果未更改配置,则会显示默认配置。
    e、 g

    • 名称节点:
      http://localhost:9870/conf

感谢您为我指出Cloudera的CDH。目前,我的目的是从零开始理解如何使用Hadoop,如果你知道我的意思的话,至少要理解所有的部分。我同意你提到的发行版可能是更快的解决方案。在这种情况下,我建议你阅读Oreilly的Hadoop权威指南2012版。要安装Hadoop 2.2.0,请遵循以下步骤。它适用于“0.23.9”,但在“2.2.0”中效果绝对不错