Scala Spark streaming以显示mongoDB插入的数据
我试图实现mongoDB spark streaming通信我的目标是将spark streaming连接到mongoDB端口,因此当mongoDB在集合中插入任何数据时,我希望在spark streaming运行控制台上显示该数据 我被用于以下代码Scala Spark streaming以显示mongoDB插入的数据,scala,apache-spark,spark-streaming,Scala,Apache Spark,Spark Streaming,我试图实现mongoDB spark streaming通信我的目标是将spark streaming连接到mongoDB端口,因此当mongoDB在集合中插入任何数据时,我希望在spark streaming运行控制台上显示该数据 我被用于以下代码 val kafkaParams = Map("metadata.broker.list" -> "localhost:27017") val topics = Set("sometopic", "anothertopic")
val kafkaParams = Map("metadata.broker.list" -> "localhost:27017")
val topics = Set("sometopic", "anothertopic")
val sparkConf = new SparkConf().setAppName("ReadMongo").setMaster("local[2]")
val ssc = new StreamingContext(sparkConf, Seconds(2))
val messages = KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder](
ssc, kafkaParams, topics)
val lines = messages.map(_._2)
val words = lines.flatMap(_.split(" "))
val wordCounts = words.map(x => (x, 1L)).reduceByKey(_ + _)
wordCounts.print()
ssc.start()
ssc.awaitTermination()
并作为nc-lk localhost 27017启动nc
,但它将错误显示为
nc:地址已在使用中
我应该如何在特定集合中显示mongo插入的数据,或者如何在spark streaming中读取mongo插入的数据,以便进一步创建实时应用程序
主要问题是,当数据插入mongo collection时,spark streaming display立即显示插入的数据您是否将流式数据保存到MongoDB?你用了哪个图书馆?我试过Stratio,但还是没有成功。请将我重定向到一些教程或示例项目源代码。提前谢谢。干杯:)