Apache spark Spark 2.2通用语言3

Apache spark Spark 2.2通用语言3,apache-spark,apache-commons-lang3,Apache Spark,Apache Commons Lang3,我正在使用Spark 2.2快照(它包括我需要的修复)。我可以通过激发“本地”火花来运行我的应用程序,一切都很好。使用spark submit运行作业时,出现以下错误: 17/04/19 13:25:42 WARN TaskSetManager: Lost task 0.0 in stage 1.0 (TID 1, 192.168.13.231, executor 0): java.io.InvalidClassException: org.apache.commons.lang3.time.F

我正在使用Spark 2.2快照(它包括我需要的修复)。我可以通过激发“本地”火花来运行我的应用程序,一切都很好。使用spark submit运行作业时,出现以下错误:

17/04/19 13:25:42 WARN TaskSetManager: Lost task 0.0 in stage 1.0 (TID 1, 192.168.13.231, executor 0): java.io.InvalidClassException:
org.apache.commons.lang3.time.FastDateParser; local class incompatible: stream classdesc serialVersionUID = 2, local class serialVersionUID = 3
有一些帖子与这个问题相关,这些帖子表明,不兼容源于类路径上较旧版本的commons-lang3。但是我已经显式地设置了commons-lang3(3.5)的版本,验证了应用程序只依赖于3.5(使用sbt依赖关系图),甚至从结果jar中删除了所有commons-lang3文件。这些都没有解决这个问题

这里非常感谢您的任何帮助—如果提交的jar文件中没有旧的依赖项,spark将从何处获取它?我是否完全误解了错误信息


谢谢,以防这对任何人都有帮助-jar冲突来自添加到spark的alluxio客户端。虽然我还没有尝试过,但我认为将这个版本与spark版本进行平方比较就可以了