Apache spark Spark executor因内存溢出而失败
我正在Spark 2.0中运行我的应用程序，我可以在Spark UI中看到，一个执行器（执行器编号27）由于内存超出问题而退出。执行器在执行4个任务时失败（因为执行器核心是4），相应的索引是（341172081）。在第二次尝试中，在同一节点中生成的另一个执行器（cdts1hdpdn10d）可以处理相同的4个任务，而不会出现内存超出问题。我对Spark的工作原理在代码层面没有太多的了解，但对功能层面我知道一点 所以，如果有人能让我了解第二次尝试是如何成功的，那将是非常有帮助的 下面是SPARK UI的屏幕截图Apache spark Spark executor因内存溢出而失败,apache-spark,yarn,Apache Spark,Yarn,我正在Spark 2.0中运行我的应用程序，我可以在Spark UI中看到，一个执行器（执行器编号27）由于内存超出问题而退出。执行器在执行4个任务时失败（因为执行器核心是4），相应的索引是（341172081）。在第二次尝试中，在同一节点中生成的另一个执行器（cdts1hdpdn10d）可以处理相同的4个任务，而不会出现内存超出问题。我对Spark的工作原理在代码层面没有太多的了解，但对功能层面我知道一点 所以，如果有人能让我了解第二次尝试是如何成功的，那将是非常有帮助的 下面是SPARK U
这是纱线问题上的一个亮点。它与“spark sql”或“dataframe”或“Donald Trump”无关。请为您的问题设置适当的标签。您的问题将在此处详细说明：