Azure 从HDInsight群集头节点运行spark应用程序

我正在尝试使用命令从azure HDInsight群集的头节点运行spark scala应用程序

spark提交——类com.test.spark.Wordcount SparkJob1.jar wasbs://containername@/样本号：sas7bdat wasbs://containername@/sample.csv

我对它感到不满

原因：java.lang.ClassCastException:无法分配的实例 scala.collection.immutable.List$SerializationProxy to字段 org.apache.spark.rdd.rdd.org$apache$spark$rdd$rdd$$dependencies\uuuOf 在的实例中键入scala.collection.Seq org.apache.spark.rdd.MapPartitionsRDD

---

如果我从Azure数据工厂调用，则相同的jar文件正在工作。我是否缺少spark submit命令的某些配置？

通常，这是由您关于类型转换的代码逻辑造成的。有一个类似的SO线程已经得到了回答，我想你可以参考它并检查你的代码来解决这个问题