Apache spark 如何从字符串列表创建数据流?

Apache spark 如何从字符串列表创建数据流?,apache-spark,streaming,dstream,Apache Spark,Streaming,Dstream,我有一个字符串列表,但我找不到方法将列表更改为spark流的数据流。 我试过这个: val tmpList = List("hi", "hello") val rdd = sqlContext.sparkContext.parallelize(Seq(tmpList)) val rowRdd = rdd.map(v => Row(v: _*)) 但是eclipse说sparkContext不是sqlContext的成员,那么,我该怎么做呢? 感谢您的帮助。数据流是RDD的序

我有一个字符串列表,但我找不到方法将列表更改为spark流的数据流。 我试过这个:

val tmpList = List("hi", "hello")    
val rdd = sqlContext.sparkContext.parallelize(Seq(tmpList))   
val rowRdd = rdd.map(v => Row(v: _*))
但是eclipse说sparkContext不是sqlContext的成员,那么,我该怎么做呢?
感谢您的帮助。

数据流是RDD的序列,它是在您将收到的数据注册到某个流媒体源(如Kafka)时创建的。为了进行测试,如果您想从RDD列表中创建数据流,您可以按如下操作:

val rdd1 = sqlContext.sparkContext.parallelize(Seq(tmpList))
val rdd2 = sqlContext.sparkContext.parallelize(Seq(tmpList1))
ssc.queueStream[String](mutable.Queue(rdd1,rdd2))

希望它能回答您的问题。

谢谢您的回答,我对spark很陌生,我不太理解您的答案。您说过:从RDD列表创建数据流。但是我如何才能得到一个包含字符串列表的RDD列表,因为我不确定我在问题中编写的代码是否为write。谢谢,我重写了代码:val sparkContext=new sparkContext(sparkConf)val RDD=sparkContext.parallelize(coutList)val resultInputStream=ssc.queueStream(scala.collection.mutable.Queue(RDD))val results=resultInputStream.map(x=>x),sqlContext是否是org.apache.spark.sql.sqlContext类的对象?我写的代码是否为write?嗨,因为ssc是StreamingContext的对象:val ssc=new StreamingContext(sparkConf,Seconds(10)),所以当我添加val sparkContext=new sparkContext(sparkConf)时,有一个SparkException表示此JVM中只能运行一个sparkContext,sparkContext和ssc之间可能会出现中断,你知道为什么吗?