Fatal编程技术网
  • scala/
  • Scala Spark在类路径上找不到案例类

Scala Spark在类路径上找不到案例类

scala apache-spark

Scala Spark在类路径上找不到案例类,scala,apache-spark,apache-spark-dataset,generated-code,Scala,Apache Spark,Apache Spark Dataset,Generated Code,我遇到一个问题，Spark无法为案例类生成代码。这是火花误差 由以下原因引起：org.codehaus.commons.compiler.CompileException:文件'generated.java'，第52行第43列：应为标识符而不是'.' 这是生成的代码中引用的行 /*052*/private com.avro.message.video.public.MetricObservation地图对象\u loopValue34 应该注意的是，com.avro.message.video.

我遇到一个问题，Spark无法为
案例类生成代码。这是火花误差


由以下原因引起：org.codehaus.commons.compiler.CompileException:文件'generated.java'，第52行第43列：应为标识符而不是'.'

这是生成的代码中引用的行


/*052*/private com.avro.message.video.public.MetricObservation地图对象\u loopValue34

应该注意的是，
com.avro.message.video.public.MetricObservation
是一个嵌套的
案例类
，位于更大层次结构的一部分。它也用于代码中的其他地方。还应该注意，如果我使用
RDD
API，那么这个管道工作得很好，但是我想使用
Dataset
API，因为我想在拼花地板中写出
Dataset
。以前有人见过这个问题吗


我正在使用Scala 2.11和Spark 2.1.0。我能够升级到Spark 2.2.1，但问题仍然存在
 你认为这与此有关吗？我注意到过去Scala反射在为静态嵌套类生成TypeTag时遇到问题。你认为这样的事情正在发生吗？或者这只是spark中的一个催化剂问题？您可能也想提交spark罚单。
因此，更改影响类的包名“修复”（即使其消失）是问题所在。我真的不知道这是为什么，甚至不知道如何在一个小测试用例中重现它。对我有效的是我刚刚创建了一个更高级别的工作包。特别是
com.avro.message.video.public
->
com.avro.message.publicVideo