Hadoop从文件配置

因此，我有一台主机和3台从机，主机上的

从机

文件有以下条目：

master
slave1
slave2
slave3

---

我是否必须在所有从机中放置同一个从机文件，还是应该删除第一行主文件，然后放置在从机中？

conf/master文件对应于次要名称节点，conf/slaves文件对应于TaskTracker/DataNode。根据群集配置或，主/从文件配置会发生更改。在伪分布式模式下运行时，主/从主机将具有本地主机，而在完全分布式模式下，它们将具有适当的主机名

---

这些文件需要存在于主设备中，而不是从设备上。检查Apache主/从配置文件的用途，这将明确文件的放置位置。

仍然需要从文件

从属文件

---

列出etc/hadoop/slaves文件中的所有从属主机名或IP地址，每行一个。助手脚本（如下所述）将使用etc/hadoop/slaves文件一次在多台主机上运行命令。它不用于任何基于Java的Hadoop配置。为了使用此功能，必须为用于运行Hadoop的帐户建立ssh信任（通过无密码ssh或其他方式，如Kerberos）。

我刚刚解决了同样的问题，幸运的是，可以通过这种方式解决（与以下答案相同）：

自定义

core site.xml

文件以指向主节点（在我的示例中，它有一个名为nodemaster的别名）。此文件必须位于主节点和辅助节点中：

---

我将自动连接到主机

我有一个完全分布式的群集。那么，您的意思是说从属文件不需要存在于从属计算机中hadoop安装的conf文件夹中？是的-这不是必需的-保留它也没有坏处-确保您已经进行了DNS设置或在/etc/hosts文件中为主机到ip映射添加了正确的条目。文档参考悬而未决。当前版本（2.7.x当然）不要再使用

主文件

文件。您可以使用配置

dfs.namenode.Secondary.http地址

指定辅助名称节点。有关更多信息，请参阅。

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://nodemaster:9000</value>
        </property>
        <property>
            <name>fs.default.name</name>
            <value>hdfs://nodemaster:9000</value>
        </property>
    </configuration>
</configuration>

start-dfs.sh
start-yarn.sh