Hadoop 洗牌错误：超过最大值\u失败\u唯一\u回迁；纾困

我正在尝试在两节点群集上运行mapreduce作业。我得到以下错误 洗牌错误：超过最大值\u失败\u唯一\u回迁；救援

我读了一些帖子，上面说这是由于/etc/hosts中的问题造成的

master中的my/etc/hosts如下所示（同时，master本身也是一个从机）：
127.0.0.1本地主机
127.0.1.1 xyz
10.140.169.41船长
10.140.169.38从机

/slave中的etc/hosts如下所示

127.0.0.1本地主机
127.0.1.1 abc
10.140.169.41船长
10.140.169.38从机

我已经关掉了防火墙

---

任何帮助都将不胜感激

您的主机是否实际命名为“主”和“从”？确保

/etc/hosts

文件中的条目与主机名匹配，即

主机名的输出
 您的主机是否实际命名为“主”和“从”？确保
/etc/hosts
文件中的条目与主机名匹配，即
主机名的输出
 混洗是中间数据从映射器传输到还原器的阶段。您没有提到为代码运行设置了哪些Map Reduce属性，但我建议您尝试设置以下属性：

<property>
    <name>mapreduce.reduce.shuffle.input.buffer.percent</name>
    <value>0.20</value>
</property>
<property>
    <name>mapreduce.reduce.shuffle.parallelcopies</name>
    <value>4</value>
</property>


mapreduce.reduce.shuffle.input.buffer.percent
0.20
mapreduce.reduce.shuffle.ParallelCopy
4.

如果您需要关于如何计算缓冲区输入百分比的说明，请查看以下内容：

谢谢。
洗牌是将中间数据从映射器传输到reducer的阶段。您没有提到为代码运行设置了哪些Map Reduce属性，但我建议您尝试设置以下属性：

<property>
    <name>mapreduce.reduce.shuffle.input.buffer.percent</name>
    <value>0.20</value>
</property>
<property>
    <name>mapreduce.reduce.shuffle.parallelcopies</name>
    <value>4</value>
</property>


mapreduce.reduce.shuffle.input.buffer.percent
0.20
mapreduce.reduce.shuffle.ParallelCopy
4.

如果您需要关于如何计算缓冲区输入百分比的说明，请查看以下内容：

谢谢。
因为在洗牌阶段，数据需要在hadoop集群内传输。因此，您应该检查集群中可能导致传输此数据出现问题的数据节点、名称节点和辅助节点的日志输出

例如，我遇到一个问题，由于core-site.yml文件中的错误配置，kerberos原则没有正确映射到hdfs系统用户

在另一个例子中，我收到了错误

javax.net.ssl.SSLHandshakeException: sun.security.validator.ValidatorException: PKIX path building failed: sun.security.provider.certpath.SunCertPathBuilderException: unable to find valid certification path to requested target

在洗牌阶段，数据需要在hadoop集群内传输。因此，您应该检查集群中可能导致传输此数据出现问题的数据节点、名称节点和辅助节点的日志输出

例如，我遇到一个问题，由于core-site.yml文件中的错误配置，kerberos原则没有正确映射到hdfs系统用户

在另一个例子中，我收到了错误

javax.net.ssl.SSLHandshakeException: sun.security.validator.ValidatorException: PKIX path building failed: sun.security.provider.certpath.SunCertPathBuilderException: unable to find valid certification path to requested target

你解决了吗？我面临着同样的问题，但只有当我的系统中有多个文件时，你才解决这个问题吗？我也面临同样的问题，但只有当我的系统中有多个文件时才会遇到。什么是
框的名称
？什么是
框的名称
？