Hadoop 如何在蜂箱中增加还原剂？

这是9GB的数据。它给出了减速器的问题。它在减速器99%时出现问题。 我已将减速机增加到150，但没有给出结果。

您可以使用：

select
    emp.deptno, emp.ename, emp.empno, emp.job, emp.mgr,
    emp.mgr, emp.hiredate, emp.sal, emp.comm, dept.dname,
    dept.loc
from emp
join dept on from emp.deptno = dept.deptno;

---

您的问题可能与数据偏斜有关（这意味着某些键非常密集）。

偏斜连接将只向一个减速器发送不成比例的大量值，您将得到99%作业完成综合症的长尾，因此可能会遇到这种情况。查看作业日志（特别是IO）会发现这是否是罪魁祸首

在这种情况下，您可以使用，这反过来又依赖于。您必须确定哪些键值（

depno

）严重倾斜，并在DDL中相应地声明：

    set mapred.reduce.tasks=113

alter table emp（schema）被（“”）上的（depno）倾斜；

阅读链接文章了解详细信息，浏览评论和更改

alter table emp (schema) skewed by  (depno) on ('<skewedvalue>');