Scala:Spark:java.lang.ClassNotFoundException:

我试着让ApacheSpark在scala上工作。我是Scala的新手，较早使用Pyspark。 作业启动时出现错误。 代码：

spark提交命令：

spark-submit --packages org.apache.spark:spark-streaming-kafka-0-10-assembly_2.11:2.1.0 --master local --num-executors 2 --executor-memory 2g --driver-memory 1g --executor-cores 2 "C:\tools\jar\streaming_spark.jar"

我有一个错误：

20/07/15 15:05:32 WARN SparkSubmit$$anon$2: Failed to load SparkRMSP_full.
java.lang.ClassNotFoundException: SparkRMSP_full

我必须如何正确地声明类

UPD:

build.sbt：

name := "streaming_spark"

version := "0.1"

scalaVersion := "2.11.12"

libraryDependencies += "org.apache.spark" %% "spark-sql" % "2.3.1"
libraryDependencies += "org.apache.spark" %% "spark-streaming-kafka-0-10-assembly" % "2.3.1"

---

在

上投影SCstructure更改spark submit命令，如下所示，然后重试

spark-submit \
  --packages org.apache.spark:spark-streaming-kafka-0-10-assembly_2.11:2.1.0 \
  --master local \
  --num-executors 2 \
  --executor-memory 2g \
  --driver-memory 1g \
  --executor-cores 2 \
  --class SparkRMSP_full \  # you might need add your fully qualified package name with class name
  "C:\tools\jar\streaming_spark.jar" 

---

您是如何创建jar文件的，maven或sbt您可以共享它吗？还添加了

--class SparkRMSP_full

我正在用IDEA中的sbt构建jar文件。我在spark submit中添加了

--class

，但同样的错误您可以添加sbt内容和文件夹结构吗？完成了。粘贴上的目录可以粘贴

SparkRMSP_full

对象的路径吗？您使用的是哪种构建工具maven或sbt。。你能发布有问题的代码吗？我必须发布什么？我是Java新手，喜欢编码。我在IDEA中运行“Build”并生成jar.pom.xml或Build.sbt文件？你们是如何构建jar文件的？我正在用IDEA中的sbt构建jar文件。问题中的build.sbt尝试使用sbt构建fat jar文件也包括主类。

spark-submit \
  --packages org.apache.spark:spark-streaming-kafka-0-10-assembly_2.11:2.1.0 \
  --master local \
  --num-executors 2 \
  --executor-memory 2g \
  --driver-memory 1g \
  --executor-cores 2 \
  --class SparkRMSP_full \  # you might need add your fully qualified package name with class name
  "C:\tools\jar\streaming_spark.jar"