Hadoop 运行较大纱线作业的主要限制是什么?如何增加?

Hadoop 运行较大纱线作业的主要限制是什么?如何增加?,hadoop,yarn,resourcemanager,hdp,Hadoop,Yarn,Resourcemanager,Hdp,运行较大的纱线作业(Hadoop版本HDP-3.1.0.0(3.1.0.0-78))的主要限制是什么?如何增加基本上,想要同时做更多(所有这些都是相当大的)sqoop工作 我目前假设我需要增加资源管理器堆大小(因为这是我在运行任务时在Ambari仪表板上看到的)。如何向RM heap添加更多资源/为什么RM heap在整个集群中的可用RAM总量中占这么小的比例 查看Ambari:纱线集群内存是55GB,但RM堆只有900MB。 有更多经验的人能告诉我,在运行更多纱线应用程序时,有什么不同,哪些是

运行较大的纱线作业(Hadoop版本HDP-3.1.0.0(3.1.0.0-78))的主要限制是什么?如何增加基本上,想要同时做更多(所有这些都是相当大的)sqoop工作

我目前假设我需要增加资源管理器堆大小(因为这是我在运行任务时在Ambari仪表板上看到的)。如何向RM heap添加更多资源/为什么RM heap在整个集群中的可用RAM总量中占这么小的比例

查看Ambari:纱线集群内存是55GB,但RM堆只有900MB。
有更多经验的人能告诉我,在运行更多纱线应用程序时,有什么不同,哪些是限制因素(以及如何增加)?还有什么我应该看的吗?有更详细的说明吗?

调整纱线和MapReduce内存的便捷方法是使用纱线utils脚本

下载配套文件##
正在执行纱线实用程序脚本## 通过提供可用内核、可用内存、磁盘数量、是否安装HBase,您可以执行python utils.pypython脚本

如果您有一个异构Hadoop集群,那么您必须根据节点规范创建配置组。如果你需要更多的信息,让我知道我会更新我的答案根据这一点

wget http://public-repo-1.hortonworks.com/HDP/tools/2.6.0.3/hdp_manual_install_rpm_helper_files-2.6.0.3.8.tar.gz

tar zxvf hdp_manual_install_rpm_helper_files-2.6.0.3.8.tar.gz