Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/jpa/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
我正在从kafka读取JSON数据,并使用spark解析数据。但我最终遇到了JSON解析器问题_Json_Scala_Apache Spark - Fatal编程技术网

我正在从kafka读取JSON数据,并使用spark解析数据。但我最终遇到了JSON解析器问题

我正在从kafka读取JSON数据,并使用spark解析数据。但我最终遇到了JSON解析器问题,json,scala,apache-spark,Json,Scala,Apache Spark,我正在从kafka读取JSON数据,并使用spark解析数据。但我最终遇到了JSON解析器问题。代码如下所示: val Array(zkQuorum, groupId, topics, numThreads) = args val conf = new SparkConf() .setAppName("KafkaAggregation") // create sparkContext val sc = new

我正在从kafka读取JSON数据,并使用spark解析数据。但我最终遇到了JSON解析器问题。代码如下所示:

val Array(zkQuorum, groupId, topics, numThreads) = args
    val conf = new SparkConf()
                .setAppName("KafkaAggregation")
   // create sparkContext                 
    val sc = new SparkContext(conf)

   // streaming context 
    val ssc = new StreamingContext(conf, Seconds(1))

    //    ssc.checkpoint("hdfs://localhost:8020/usr/tmp/data")

    val topicMap = topics.split(",").map((_, numThreads.toInt)).toMap
    val lines = KafkaUtils.createStream(ssc, zkQuorum, groupId, topicMap).map((_._2))

    val lineJson = lines.map(JSON.parseFull(_))
                  .map(_.get.asInstanceOf[scala.collection.immutable.Map[String,Any]])
错误详细信息: 错误:未找到:值JSON [INFO]val-lineJson=lines.map(JSON.parseFull(33;))

您能帮我确定maven依赖项应该使用哪个来解决错误吗


谢谢。

我想你在找这个:

import scala.util.parsing.json._
并添加Maven:

<dependency>
    <groupId>org.scala-lang</groupId>
    <artifactId>scala-parser-combinators</artifactId>
    <version>2.11.0-M4</version>
</dependency>

org.scala-lang

我添加了上述maven依赖项,但问题尚未解决。您是否运行了mvn或sbt构建?你能把整个错误信息粘贴到这里吗?我使用的是maven build。这实际上是一个编译错误。