我正在从kafka读取JSON数据,并使用spark解析数据。但我最终遇到了JSON解析器问题
我正在从kafka读取JSON数据,并使用spark解析数据。但我最终遇到了JSON解析器问题。代码如下所示:我正在从kafka读取JSON数据,并使用spark解析数据。但我最终遇到了JSON解析器问题,json,scala,apache-spark,Json,Scala,Apache Spark,我正在从kafka读取JSON数据,并使用spark解析数据。但我最终遇到了JSON解析器问题。代码如下所示: val Array(zkQuorum, groupId, topics, numThreads) = args val conf = new SparkConf() .setAppName("KafkaAggregation") // create sparkContext val sc = new
val Array(zkQuorum, groupId, topics, numThreads) = args
val conf = new SparkConf()
.setAppName("KafkaAggregation")
// create sparkContext
val sc = new SparkContext(conf)
// streaming context
val ssc = new StreamingContext(conf, Seconds(1))
// ssc.checkpoint("hdfs://localhost:8020/usr/tmp/data")
val topicMap = topics.split(",").map((_, numThreads.toInt)).toMap
val lines = KafkaUtils.createStream(ssc, zkQuorum, groupId, topicMap).map((_._2))
val lineJson = lines.map(JSON.parseFull(_))
.map(_.get.asInstanceOf[scala.collection.immutable.Map[String,Any]])
错误详细信息:
错误:未找到:值JSON
[INFO]val-lineJson=lines.map(JSON.parseFull(33;))
您能帮我确定maven依赖项应该使用哪个来解决错误吗
谢谢。我想你在找这个:
import scala.util.parsing.json._
并添加Maven:
<dependency>
<groupId>org.scala-lang</groupId>
<artifactId>scala-parser-combinators</artifactId>
<version>2.11.0-M4</version>
</dependency>
org.scala-lang
我添加了上述maven依赖项,但问题尚未解决。您是否运行了mvn或sbt构建?你能把整个错误信息粘贴到这里吗?我使用的是maven build。这实际上是一个编译错误。