Hadoop 当节点耗尽RAM时，色调服务崩溃

我们有一个4节点的集群，安装了色调3.9.0。Namenode有24 GB的RAM，每个DataNode有20 GB。我们有几个作业正在消耗资源：

• 15/24 GB（名称节点）
• 14/20 GB（数据节点）
• 13/20 GB（数据节点）
• 6/20 GB（数据节点）

我们也在Impala和Hive中运行查询。这些查询一次又一次地消耗所有可用RAM（在NameNode上），每次都会导致Hue崩溃。当发生这种情况时，Cloudera Manager（CM）将色调运行状况显示为“坏”（进程状态：“坏：此角色的进程已退出。此角色应已启动”），而所有其他服务（如HBase、HDFS、Impala、Hive等）运行状况良好。通过CM重新启动色调服务后，它再次正常工作。我们如何防止色调因缺少RAM而崩溃

我想我正在寻找的是一种为色调服务保留足够RAM空间的方法（选项），但到目前为止，我所能找到的只是通过色调配置选项卡设置的Impala配置选项（括号中有我们当前的值）：

Impala守护程序内存限制（内存限制）：

• Impala守护程序默认组（1701 MB）
• 黑斑羚守护程序组1（2665 MB）

Impala Llama ApplicationMaster的Java堆大小（字节）（2 GB）

---

但无论如何，运行一系列查询（并行或一个接一个）最终会消耗所有可用的RAM。查询完成后，它似乎不会释放RAM。我更希望Impala和Hive说他们没有足够的内存继续运行，并且不会使其他服务崩溃，比如本例中的Hue。

Hue是一个Python应用程序。无法为其分配堆大小。为什么Hue与主服务在同一台服务器上？如果您不想让它崩溃，那么将它重新定位到自己的专用主机上。Hue是一个Python应用程序。无法为其分配堆大小。为什么Hue与主服务在同一台服务器上？如果您不想让它崩溃，请将其重新定位到自己的专用主机