Apache spark 火花动作与EOFEException卡在一起

Apache spark 火花动作与EOFEException卡在一起,apache-spark,Apache Spark,我想用Spark执行一个动作,但是我被卡住了。相应的执行器引发以下异常: 2019-03-06 11:18:16 ERROR Inbox:91 - Ignoring error java.io.EOFException at java.io.DataInputStream.readFully(DataInputStream.java:197) at java.io.DataInputStream.readUTF(DataInputStream.java:609) at java.io.Data

我想用Spark执行一个动作,但是我被卡住了。相应的执行器引发以下异常:

 2019-03-06 11:18:16 ERROR Inbox:91 - Ignoring error
java.io.EOFException
at java.io.DataInputStream.readFully(DataInputStream.java:197)
at java.io.DataInputStream.readUTF(DataInputStream.java:609)
at java.io.DataInputStream.readUTF(DataInputStream.java:564)
at org.apache.spark.scheduler.TaskDescription$$anonfun$decode$1.apply(TaskDescription.scala:131)
at org.apache.spark.scheduler.TaskDescription$$anonfun$decode$1.apply(TaskDescription.scala:130)
at scala.collection.immutable.Range.foreach(Range.scala:160)
at org.apache.spark.scheduler.TaskDescription$.decode(TaskDescription.scala:130)
at org.apache.spark.executor.CoarseGrainedExecutorBackend$$anonfun$receive$1.applyOrElse(CoarseGrainedExecutorBackend.scala:96)
at org.apache.spark.rpc.netty.Inbox$$anonfun$process$1.apply$mcV$sp(Inbox.scala:117)
at org.apache.spark.rpc.netty.Inbox.safelyCall(Inbox.scala:205)
at org.apache.spark.rpc.netty.Inbox.process(Inbox.scala:101)
at org.apache.spark.rpc.netty.Dispatcher$MessageLoop.run(Dispatcher.scala:221)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:748)
我的环境是Docker上的独立Spark群集,齐柏林飞艇作为Spark驱动程序。与群集的连接工作正常

My Spark action是数据库的简单输出,如下所示:

spark.read.jdbc(jdbcString, "table", props).show()

我可以打印表的架构,因此连接应该没有问题。

请检查您的环境JAVA、Python、Pysaprk在主、辅和路径中必须相同,版本也相同。

与spark独立集群相比,我们的驱动程序机器的JAVA版本不同。当我们尝试使用另一台具有相同java版本的机器时,它成功了。

我在S3上可用的一个文件夹中遇到了相同的问题。数据存储为拼花地板,压缩迅速。当我把它改成兽人的时候,压缩的很快,效果很好