Fatal编程技术网
  • java/
  • Java 火花序列化与Kryo失败

Java 火花序列化与Kryo失败

java scala apache-spark

Java 火花序列化与Kryo失败,java,scala,apache-spark,kryo,Java,Scala,Apache Spark,Kryo,本地 我已经成功地在本地启动了spark应用程序。 为了做到这一点，我在我的机器上启动了一个火花大师和一个工人。 然后我执行spark submit（执行成功） 生产 当通过我的生产工作时，同一个应用程序在AWS上的多台机器中启动，执行失败 错误 java.lang.IllegalArgumentException: Class is not registered: scala.collection.immutable.MapLike$ImmutableDefaultKeySet 问题 “本地

本地

我已经成功地在本地启动了spark应用程序。 为了做到这一点，我在我的机器上启动了一个火花大师和一个工人。 然后我执行spark submit（执行成功）

生产

当通过我的生产工作时，同一个应用程序在AWS上的多台机器中启动，执行失败

错误

java.lang.IllegalArgumentException: Class is not registered: scala.collection.immutable.MapLike$ImmutableDefaultKeySet
问题

“本地”和“生产”有什么区别？
是否可以在我的机器上模拟“生产”行为以避免将来的崩溃？

您确定在本地和生产中使用相同版本的Spark和Scala吗？是的，它是相同的：）