Java “的内存分配”；纱线.节点管理器.资源.内存mb“；大于物理内存大小_Java_Hadoop_Mapreduce_Hdfs_Yarn

Java “的内存分配”；纱线.节点管理器.资源.内存mb“；大于物理内存大小

java hadoop mapreduce

Java “的内存分配”；纱线.节点管理器.资源.内存mb“；大于物理内存大小,java,hadoop,mapreduce,hdfs,yarn,Java,Hadoop,Mapreduce,Hdfs,Yarn,当我们分配的内存大小大于物理内存时会发生什么，如下所示 <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>20960</value> </property warn.nodemanager.resource.memory-mb 20960 阅读有关页面共享的信息；所有“现代”操作系统都使用该功能1。分配的容器不必消耗所有保留内存。因

当我们分配的内存大小大于物理内存时会发生什么，如下所示

<property>
   <name>yarn.nodemanager.resource.memory-mb</name>
   <value>20960</value>
</property


warn.nodemanager.resource.memory-mb
20960
阅读有关页面共享的信息；所有“现代”操作系统都使用该功能1。分配的容器不必消耗所有保留内存。因此，它们可能适合内存，这取决于JVM堆的使用情况。2.如果它们不适合内存，某些容器将无法启动。嗨，vanekjar，感谢yu的评论，在我的情况下，我有oly 12 GB RAM，但我为nodemanager保留了20 GB，一旦作业提交，它将使用大于12 GB的内存，即大于RAM大小。！！它是否共享任何虚拟内存？您如何衡量使用的内存是否超过12 Gb？那么jvm堆大小呢？hadoop度量中的@PedroMagalhaes将显示WEBUI中的总内存使用量。到那时，我们已经超过了Ram的大小。