Scala spark，kafka集成问题：对象kafka不是org.apache.spark.streaming的成员

在IntelliJ IDE中构建spark应用程序（scala）时收到错误。 它是一个简单的应用程序，使用Kafka流进行进一步处理。我已经添加了所有JAR，IDE没有显示任何未解析的导入或代码语句

然而，当我尝试构建工件时，我得到两个错误 错误：（13，35）对象kafka不是包的成员

org.apache.spark.streaming
import org.apache.spark.streaming.kafka.KafkaUtils

Error:(35, 60) not found: value KafkaUtils
    val messages: ReceiverInputDStream[(String, String)] = KafkaUtils.createStream(streamingContext,zkQuorum,"myGroup",topics)

我见过类似的问题，但大多数ppl在提交给spark时都会抱怨这个问题。然而，我只做了一步，仅仅构建了最终提交给spark的jar文件。最重要的是，我使用IntelliJ IDE，对spark和scala有点陌生；在这里迷路了

下面是IntelliJ错误的快照

谢谢

---

Omer

原因是您需要将

spark-streaming-kafka-K.version-Sc.version.jar

添加到pom.xml和spark lib目录。

原因是您需要将

spark-streaming-kafka-K.version-Sc.version.jar

添加到pom.xml和spark lib目录。

您可以指定火花和卡夫卡的版本。您确定您的pom.xml中添加了spark streaming kafka jar吗？它是kafka 0.10和spark 1.6.2。我使用的是SBT，所以不确定pom.xml和整个应用程序是使用IntelliJCan构建的，您可以指定Spark和Kafka的版本。您确定您的pom.xml中添加了spark streaming kafka jar吗？它是kafka 0.10和spark 1.6.2。我正在使用SBT，所以不确定pom.xml和整个应用程序是使用IntelliJI构建的，我对这一领域还是新手，所以我不确定如果我们使用maven，pom.xml是否会发挥作用，在我的例子中，我们有SBT。我对这一领域仍然是新手，但我认为只有使用maven，pom.xml才会发挥作用，在我的例子中，我们有SBT。顺便说一句，我设法通过IntelliJ构建jar，将所有jar放在一个文件夹中，我从每个模块复制了这个文件夹（spark和kafka——来自hortonworks dsomehow。但我仍然不确定IntelliJ为什么没有弄明白。我在提交spark时尝试了其他帖子中提到的SBT.build解决方案，但即使这样也不起作用，我必须在命令中指定jar files文件夹来运行它。指定jar文件路径非常麻烦。有更好的解决方案吗？谢谢。我对这个领域还是新手，所以我不知道如果我们使用maven，pom.xml是否会起作用，在我的例子中，我们有SBT。我对这个领域还是新手，但我认为pom.xml只有在我们使用maven，在我的例子中，我们有SBT的情况下才会起作用。顺便说一句，我通过IntelliJ在一个文件夹中提供了所有的jar，我从m每个模块（spark和kafka——来自hortonworks dsomehow。但我仍然不确定IntelliJ为什么没有弄明白。我在提交spark时尝试了其他帖子中提到的SBT.build解决方案，但即使这样也不起作用，我必须在命令中指定jar files文件夹来运行它。指定jar文件路径非常麻烦。有更好的解决方案吗？谢谢