Maven 客户端作业上出现Scala错误

我知道有一些问题，但没有足够的信息来解决我的问题

我尝试从我的Eclipse项目以客户机模式运行作业。我有一个具有2个节点的hadoop集群（其中一个节点当前处于关闭状态）。我试着在集群模式下运行它（使用spark submit），结果成功了。我尝试从eclipse项目本地运行它，方法是：

我正在尝试创建一个类似这样的火花上下文：

        SparkConf conf = new SparkConf().setAppName("AnomalyDetection-BuildModel").setMaster("local[*]");

而且它是有效的

但当我尝试使用“纱线客户端”运行它时：

我收到一个错误：

cannot assign instance of scala.collection.immutable.List$SerializationProxy to field org.apache.spark.rdd.RDD.org$apache$spark$rdd$RDD$$dependencies_ of type scala.collection.Seq in instance of org.apache.spark.rdd.MapPartitionsRDD

另一个问题是，我不知道在这种情况下依赖性和兼容性是如何工作的，为什么使用local[*]时我没有收到任何错误

这是我的pom.xml文件：

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>buildModelTest</groupId>
    <artifactId>buildModelTest</artifactId>
    <version>1</version>
    <properties>
        <encoding>UTF-8</encoding>
        <scala.version>2.11.8</scala.version>
        <spark.version>2.1.0</spark.version>
        <hadoop.version>2.7.0</hadoop.version>
    </properties>
    <dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>3.8.1</version>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.10</artifactId>
            <version>2.1.0</version>
            <scope>provided</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-mllib_2.10</artifactId>
            <version>2.1.0</version>
            <scope>provided</scope>
        </dependency>
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-reflect</artifactId>
            <version>2.11.8</version>
            <scope>provided</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-yarn_2.10</artifactId>
            <version>2.1.0</version>
            <scope>provided</scope>
        </dependency>
        <dependency>
            <groupId>org.scalatest</groupId>
            <artifactId>scalatest_2.11</artifactId>
            <version>3.0.0</version>
            <scope>provided</scope>
        </dependency>
    </dependencies>
    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-jar-plugin</artifactId>
                <configuration>
                    <archive>
                        <manifest>
                            <mainClass>buildModelTest.Main</mainClass>
                      </manifest>
                    </archive>
                </configuration>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.3</version>
            </plugin>
        </plugins>
    </build>
</project>

4.0.0
构建模型测试
构建模型测试
1.
UTF-8
2.11.8
2.1.0
2.7.0
朱尼特
朱尼特
3.8.1
测试
org.apache.spark
spark-core_2.10
2.1.0
假如
org.apache.spark
spark-mllib_2.10
2.1.0
假如
org.scala-lang
斯卡拉反射
2.11.8
假如
org.apache.spark
火花丝2.10
2.1.0
假如
org.scalatest
比例测试2.11
3.0.0
假如
org.apache.maven.plugins
maven jar插件
buildModelTest.Main
org.apache.maven.plugins
maven编译器插件
3.3

在eclipse项目中，我添加了hadoop的配置文件，并在构建配置中添加了SCALA_HOME、SPARK_HOME、hadoop_CONF_DIR的环境变量。关于SPARK，我有SPARK-2.1.0-bin-hadoop2.7和SCALA 2.11.8。在我的Java项目中，我添加了Spark/bin中的所有JAR

你们知道为什么这不适用于“客户纱线”吗？是否存在依赖性问题？如果是，在依赖性方面，普通客户机和纱线客户机有什么不同？Maven为我下载了一些我从Spark/bin添加的jar，所以我想其中一些是多余的

编辑

sparkContext初始化正确（我猜）。调用.rrd（）方法时引发错误：

JavaRDD parsedTrainingData=data.map（新函数（）{
私有静态最终长serialVersionUID=1L；
公共向量调用（字符串s）{
字符串[]sarray=s.split（“”）；
double[]值=新的double[sarray.length]；
for（int i=0；i

从您的代码来看，您似乎正在尝试在纱线集群上运行Spark应用程序

SparkConf conf = new SparkConf().setAppName("AnomalyDetection-BuildModel").setMaster("yarn-client").set("driver-memory", "556m").set("executor-memory", "556m").set("executor-cores", "1").set("queue", "default");

这里，

setMaster（“纱线客户端”）

是一个错误的master参数

当您将master设置为

local[*]

时，您的spark应用程序将在机器中的单个JVM中运行

要将spark应用程序提交到正在运行的纱线群集，请将

setMaster（“纱线”）

设置为客户端或群集，还可以选择将

deploy mode

属性设置为客户端或群集

有关这些参数的更多详细信息，请参阅

---

另外，如果您希望从代码而不是命令行提交应用程序，请参阅。

从代码中，您似乎正在尝试在Cyan cluster上运行Spark应用程序

SparkConf conf = new SparkConf().setAppName("AnomalyDetection-BuildModel").setMaster("yarn-client").set("driver-memory", "556m").set("executor-memory", "556m").set("executor-cores", "1").set("queue", "default");

这里，

setMaster（“纱线客户端”）

是一个错误的master参数

当您将master设置为

local[*]

时，您的spark应用程序将在机器中的单个JVM中运行

要将spark应用程序提交到正在运行的纱线群集，请将

setMaster（“纱线”）

设置为客户端或群集，还可以选择将

deploy mode

属性设置为客户端或群集

有关这些参数的更多详细信息，请参阅

---

另外，如果您希望通过代码而不是命令行提交申请，请参阅。

我已尝试按照您所说的更改参数。应用程序的行为完全相同。所以我猜.setmaster（“纱线客户端”）和.setmaster（“纱线”）.set（“部署模式”，“客户端”）是一样的。我这样做是为了避免从命令行执行。据我所知，这是他们从代码提交spark应用程序的方式。我已尝试按照您所说的更改我的参数。应用程序的行为完全相同。所以我猜.setmaster（“纱线客户端”）和.setmaster（“纱线”）.set（“部署模式”，“客户端”）是一样的。我这样做是为了避免从命令行执行。据我所知，这是他们提交spark申请的方式。

SparkConf conf = new SparkConf().setAppName("AnomalyDetection-BuildModel").setMaster("yarn-client").set("driver-memory", "556m").set("executor-memory", "556m").set("executor-cores", "1").set("queue", "default");