在Hadoop中,虚拟内存字节任务计数器意味着什么?

在Hadoop中,虚拟内存字节任务计数器意味着什么?,hadoop,mapreduce,hortonworks-data-platform,apache-tez,Hadoop,Mapreduce,Hortonworks Data Platform,Apache Tez,以下摘自权威指南的内容提供了如下所示的高级细节,但 此任务计数器中的虚拟内存究竟指的是什么 如何解读?它与物理内存字节有什么关系 下面是从其中一个作业中提取的示例。物理容量约为214 GB,虚拟容量约为611 GB 1.此任务计数器中的虚拟内存具体指的是什么? Virtual Memory here is used to prevent Out of Memory errors of a task,if data size doesn't fits in RAM(physical mem).

以下摘自权威指南的内容提供了如下所示的高级细节,但

  • 此任务计数器中的虚拟内存究竟指的是什么
  • 如何解读?它与物理内存字节有什么关系
  • 下面是从其中一个作业中提取的示例。物理容量约为214 GB,虚拟容量约为611 GB


    1.此任务计数器中的虚拟内存具体指的是什么?

     Virtual Memory here is used to prevent Out of Memory errors of a task,if data size doesn't fits in RAM(physical mem).
      in RAM.So a portion of memory of size what didn't fit in RAM will be used as Virtual Memory.
    
    swapping of memory pages from physical memory to virtual memory on disk when not enough phy mem
    
    因此,在设置hadoop集群时,建议使用
    vm.swappiness=1
    ,以获得更好的性能。在linux系统上,vm.swappiness默认设置为60。 该值越高,内存页交换越激烈

    2。如何解读?它与物理内存字节有什么关系?

     Virtual Memory here is used to prevent Out of Memory errors of a task,if data size doesn't fits in RAM(physical mem).
      in RAM.So a portion of memory of size what didn't fit in RAM will be used as Virtual Memory.
    
    swapping of memory pages from physical memory to virtual memory on disk when not enough phy mem
    

    这是物理内存字节和虚拟内存字节之间的关系。

    您认为我应该如何解释问题中的值?vm字节远高于物理内存。vm字节是ram加上所用交换空间的总和。pm vytes和vm字节之间的差异是交换空间611-214=397 GDr Elephant是分析mr/tez/spark作业以获得更清晰的信息的好选择。他们收集这些计数器并提供报告