Apache spark 保存到hdfs时AvroSchema的ClassNotFoundException

我正在尝试从hive获取数据并将其保存到hdfs， 在使用保存到hdfs时，我得到avro模式的classnotfound异常

saveAsNewAPIHadoopDataset

，我正在使用spark submit执行 请看一下代码

withValues.saveAsNewAPIHadoopFile(
    outputPath,
    classOf[IdentifiersData],
    classOf[org.apache.hadoop.io.NullWritable],
    classOf[AvroKeyOutputFormat[IdentifiersData]],
    conf.getConfiguration)

有什么帮助吗？？

---

提前感谢

当使用

spark submit

@Sebastian发送驱动程序应用程序时，您需要将驱动程序应用程序打包到一个包含所有依赖项的JAR中，这是不必要的，如果JAR位于所有执行者的类路径上或spark库中，则在使用spark submit时将自动拾取。在这个特定场景中，我认为用户正试图使用java-jar或sbt直接运行作业。您是否能够发布堆栈跟踪。？