Java Spark错误：所有数据节点都坏了。流产

我正在AWS EMR cluster 1 master上运行一个Spark作业，3个内核每个都有16个VCPU，大约10分钟后，我得到下面的错误。在Windows机器上，它运行得非常好

堆栈跟踪：

20/06/25 15:17:59 ERROR AsyncEventQueue: Listener EventLoggingListener threw an exception
java.io.IOException: All datanodes [DatanodeInfoWithStorage[172.34.18.217:50010,DS-0662bfa1-3e63-4ccc-8493-3deaf3ed2bbf,DISK]] are bad. Aborting...
        at org.apache.hadoop.hdfs.DataStreamer.handleBadDatanode(DataStreamer.java:1531)
        at org.apache.hadoop.hdfs.DataStreamer.setupPipelineForAppendOrRecovery(DataStreamer.java:1465)
        at org.apache.hadoop.hdfs.DataStreamer.processDatanodeError(DataStreamer.java:1237)
        at org.apache.hadoop.hdfs.DataStreamer.run(DataStreamer.java:657)

我试过： .config（“spark.dynamicAllocation.enabled”、“true”） .config（“spark.shuffle.service.enabled”、“true”）； 但那没用

---

关于为什么会发生这种情况以及如何修复它，您有什么想法吗？

您的一个节点的磁盘空间不足吗？没有，磁盘上有足够的空间。您能为上述错误提供更多堆栈跟踪吗？另外，您可以启用EMR登录，并尝试查看驱动程序节点日志文件中的实际错误。我添加了堆栈跟踪您的实例类型、每个节点的EBS卷和数据卷是什么？您的一个节点是否磁盘空间不足？不，磁盘上有足够的空间您可以为上述错误提供更多堆栈跟踪吗？此外，您还可以启用EMR日志记录，并尝试查看驱动程序节点的日志文件中到底出了什么问题。我添加了堆栈跟踪您的实例类型、每个节点的EBS卷和数据卷是什么？