Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon web services 纱线中的保留记忆是什么？为什么会显示spike？_Amazon Web Services_Apache Spark_Apache Spark Sql_Emr_Amazon Emr - Fatal编程技术网
Fatal编程技术网
  • amazon-web-services/
  • Amazon web services 纱线中的保留记忆是什么？为什么会显示spike？

Amazon web services 纱线中的保留记忆是什么？为什么会显示spike？

amazon-web-services apache-spark

Amazon web services 纱线中的保留记忆是什么？为什么会显示spike？,amazon-web-services,apache-spark,apache-spark-sql,emr,amazon-emr,Amazon Web Services,Apache Spark,Apache Spark Sql,Emr,Amazon Emr,我怀疑什么是纱线中的保留记忆？ 我确实理解，它的思路是平衡提交的多个作业所带来的内存需求，这样就不会有任何作业处于饥饿模式。它尝试在为另一个作业释放内存时保留内存 我们使用AWS EMR进行运营。我观察到，有时在集群上提交内存密集型作业（比如spark sql作业）时，总3TB ram中会保留1TB ram即使只有一个作业在集群上提交/运行，而没有其他作业在等待或排队，我也观察到了这一点。 这种记忆尖峰在5-15分钟内间歇性出现，然后下降到可管理水平，甚至为0 有人能解释一下这是不是正常行为吗。

我怀疑什么是纱线中的保留记忆？ 我确实理解，它的思路是平衡提交的多个作业所带来的内存需求，这样就不会有任何作业处于饥饿模式。它尝试在为另一个作业释放内存时保留内存

我们使用AWS EMR进行运营。我观察到，有时在集群上提交内存密集型作业（比如spark sql作业）时，总3TB ram中会保留1TB ram即使只有一个作业在集群上提交/运行，而没有其他作业在等待或排队，我也观察到了这一点。 这种记忆尖峰在5-15分钟内间歇性出现，然后下降到可管理水平，甚至为0

有人能解释一下这是不是正常行为吗。如果是正常的，请详细解释一下。否则，如果有一些可能的配置错误会触发此问题，请帮助我解决此问题

注意->我们在EMR 5.0.0上有R4 8x10节点的大型集群

提前谢谢

Manish Mehra

可能重复的不，它们不是重复的，即使集群上只有一个作业在运行，我也会遇到这种情况。嗨，我们有同样的问题，你找到原因了吗？@OleksiiDuzhyi-不，真的！！