Scala Spark streaming从Twitter获取数据并保存到Cassandra
说到我的问题,我有个问题 具体来说,我的问题是连接cassandra和流媒体类型的数据。因为我已经连接了cassandra和spark,也从twitter获取了数据。我这样做了,但是是分开的。现在我想当我从twitter获取数据时,写一个表,其中有一个键空间。我怎么做 我的密码在那里Scala Spark streaming从Twitter获取数据并保存到Cassandra,scala,hadoop,apache-spark,spark-streaming,Scala,Hadoop,Apache Spark,Spark Streaming,说到我的问题,我有个问题 具体来说,我的问题是连接cassandra和流媒体类型的数据。因为我已经连接了cassandra和spark,也从twitter获取了数据。我这样做了,但是是分开的。现在我想当我从twitter获取数据时,写一个表,其中有一个键空间。我怎么做 我的密码在那里 val conf = new SparkConf() .set("spark.cassandra.connection.host", "127.0.0.1") .set("spark.cleane
val conf = new SparkConf()
.set("spark.cassandra.connection.host", "127.0.0.1")
.set("spark.cleaner.ttl", "5000")
.setMaster("local[2]").setAppName("myapp")
val sc = new SparkContext(conf)
val ssc = new StreamingContext(sc, Seconds(2))
val tweetsA = TwitterUtils.createStream(ssc, None, Array("searchword"))
val tweets_mystring = tweetsA.filter(_.getText.contains("searchword2")).map(ttext => ttext.getText)
tweets_mystring.map(??????).saveToCassandra("mykeyspace", "mytable")
//i can't write my map function like where ????
ssc.start()
ssc.awaitTermination(60000)
ssc.checkpoint(checkpointDir)
}
}
嘿,回复有点晚了,但我会调查一下。它很好地支持Spark Streaming和Cassandra的结合。易于使用的软件,用于将数据流传输到Cassandra,并将继续得到支持,因为他们目前拥有约1.9亿美元的投资资金。下面是它使用的一个快速示例