Scala Spark:javax.servlet.ServletException:java.lang.IndexOutOfBoundsException

Scala Spark:javax.servlet.ServletException:java.lang.IndexOutOfBoundsException,scala,apache-spark,Scala,Apache Spark,我得到以下异常跟踪,无法确定其根本原因: WARN HttpChannel: //ip-10-0-1-137.ec2.internal:4040/api/v1/applications/application_1565230812086_0001/allexecutors?proxyapproved=true javax.servlet.ServletException: java.lang.IndexOutOfBoundsException: 53 at org.glassfish.j

我得到以下异常跟踪,无法确定其根本原因:

WARN HttpChannel: //ip-10-0-1-137.ec2.internal:4040/api/v1/applications/application_1565230812086_0001/allexecutors?proxyapproved=true
javax.servlet.ServletException: java.lang.IndexOutOfBoundsException: 53
    at org.glassfish.jersey.servlet.WebComponent.serviceImpl(WebComponent.java:489)
    at org.glassfish.jersey.servlet.WebComponent.service(WebComponent.java:427)
    ...
    at java.lang.Thread.run(Thread.java:748)
Caused by: java.lang.IndexOutOfBoundsException: 53
    at scala.collection.LinearSeqOptimized$class.apply(LinearSeqOptimized.scala:65)
    at scala.collection.immutable.Stream.apply(Stream.scala:202)
    ...

虽然这不是终止执行,但仍想知道其原因。这会导致火花机性能低下吗

版本:

Scala: 2.11
Spark: 2.2.1

这到底是什么时候发生的?我还不确定它的位置。我有一个spark sql列表,并按顺序运行它们。我保存的第一个数据帧抛出了这个警告。你能不能也添加一些代码,这样我们就可以看到其他的情况。我不能添加代码,因为我不是它的所有者。示例代码没有给我这个警告。同样在fresh EMR集群中,我没有收到此警告。在我看来,这是一个间歇性的问题。