Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/scala/16.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Scala Spark streaming从Twitter获取数据并保存到Cassandra_Scala_Hadoop_Apache Spark_Spark Streaming - Fatal编程技术网

Scala Spark streaming从Twitter获取数据并保存到Cassandra

Scala Spark streaming从Twitter获取数据并保存到Cassandra,scala,hadoop,apache-spark,spark-streaming,Scala,Hadoop,Apache Spark,Spark Streaming,说到我的问题,我有个问题 具体来说,我的问题是连接cassandra和流媒体类型的数据。因为我已经连接了cassandra和spark,也从twitter获取了数据。我这样做了,但是是分开的。现在我想当我从twitter获取数据时,写一个表,其中有一个键空间。我怎么做 我的密码在那里 val conf = new SparkConf() .set("spark.cassandra.connection.host", "127.0.0.1") .set("spark.cleane

说到我的问题,我有个问题

具体来说,我的问题是连接cassandra和流媒体类型的数据。因为我已经连接了cassandra和spark,也从twitter获取了数据。我这样做了,但是是分开的。现在我想当我从twitter获取数据时,写一个表,其中有一个键空间。我怎么做

我的密码在那里

     val conf = new SparkConf()
  .set("spark.cassandra.connection.host", "127.0.0.1")
  .set("spark.cleaner.ttl", "5000")
  .setMaster("local[2]").setAppName("myapp")
val sc = new SparkContext(conf)
val ssc = new StreamingContext(sc, Seconds(2))

val tweetsA = TwitterUtils.createStream(ssc, None, Array("searchword"))


val tweets_mystring = tweetsA.filter(_.getText.contains("searchword2")).map(ttext => ttext.getText)
tweets_mystring.map(??????).saveToCassandra("mykeyspace", "mytable")
//i can't write my map function like where ????

ssc.start()
ssc.awaitTermination(60000)
ssc.checkpoint(checkpointDir)
} 
}

嘿,回复有点晚了,但我会调查一下。它很好地支持Spark Streaming和Cassandra的结合。易于使用的软件,用于将数据流传输到Cassandra,并将继续得到支持,因为他们目前拥有约1.9亿美元的投资资金。下面是它使用的一个快速示例