Yarn 请解释纱线上燧石的细节

有人能给我解释一下纱线高性能flink作业的最佳配置和并行性吗

我使用的Cloudera Hadoop有4个节点（1个主节点+3个工作节点），每个节点有12个CPU和96 Gb内存

纱线的性能很少

• warn.scheduler.maximum-allocation-mb-当前值为36Gb
• 纱线.nodemanager.resource.memory-mb-当前值为36Gb

我发现，当我启动Thread会话时，我应该将

-tm

标志设置为不超过36Gb，否则我的应用程序将失败，并出现错误

，群集没有为TaskManager请求的可用资源！最大内存：已请求：MB。请检查“Thread.scheduler.maximum allocation mb”和“Thread.nodemanager.resource.memory mb”配置值

否则

我想使用集群上的所有可用资源来提高flink作业的性能。因此，我的问题是：

我是否应该将上述属性设置为96 Gb（即88 Gb），并在每个工作节点上使用1个TaskManager（共有12个插槽）（3个节点上有3个TaskManager，总共36个插槽）？在纱线上使用大型TaskManager是否常见

或者我应该将

warn.nodemanager.resource.memory mb

设置为88 Gb，将

warn.scheduler.maximum allocation mb

设置为8 Gb，并为每个工作节点使用多个TaskManager吗？例如，每个节点有6个TaskManager，每个节点有2个插槽（3个节点上有18个TaskManager，总共有36个插槽）？我已经了解到，不建议为

warn.scheduler.maximum allocation mb

设置太高的值

对于flink会话，将

-jm

标志设置为4 Gb是否合适？对此有什么建议吗

请解释一下，它对网络流量、垃圾收集、CPU和内存利用率等有何影响？我应该使用哪种配置来获得最佳性能

---

谢谢你的帮助

这是一项非常复杂的任务，在这么短的时间内回答它并不容易。我建议您在FlinkForward观看本演示，您可能会在那里找到一些答案：