Hbase 如何使spark写入多个源foreachrdd
我制作了一个spark流媒体程序,从卡夫卡的源代码中读取。经过一些转换后,我需要将数据发送给两个卡夫卡制作者,还需要发送给hbase 我通过spark流媒体接收此数据:Hbase 如何使spark写入多个源foreachrdd,hbase,apache-kafka,spark-streaming,Hbase,Apache Kafka,Spark Streaming,我制作了一个spark流媒体程序,从卡夫卡的源代码中读取。经过一些转换后,我需要将数据发送给两个卡夫卡制作者,还需要发送给hbase 我通过spark流媒体接收此数据: Customer1 21631512435 2 1449540003.803 1449540363.571 25566530 27670 1557041 19491 65664 1 197.26.8.142 197.31.74.208 Customer2 21631526589 4
Customer1 21631512435 2 1449540003.803 1449540363.571 25566530 27670 1557041 19491 65664 1 197.26.8.142 197.31.74.208
Customer2 21631526589 4 1449540003.821 1339540363.565 25536520 27369 1545811 19487 65659 5 197.25.2.135 197.31.74.206
我想进行一些转换,并将其发送给2名卡夫卡制作人,同时将副本保存到hbase中
我在这里找到了一些关于向卡夫卡制作人发送数据并保存到hbase的例子,但我的问题是我没有sbt或maven,我使用的是spark shell(spark 1.3)。我发现在导入jar时有很多问题
我已经在读卡夫卡的故事并把它保存到hdfs中了。有人能帮我完成这项任务吗?可能是重复的。你能说明你想要完成什么吗?听起来你已经能够阅读卡夫卡的内容并向hbase写信了,但是你在向卡夫卡写信时遇到了麻烦。这是正确的吗?不,我无法将foreachRdd写入hbase,同时将其发送给kafka procuder(我使用的是scala)可能的副本您能否澄清您希望实现的目标?听起来你已经能够阅读卡夫卡的内容并向hbase写信了,但是你在向卡夫卡写信时遇到了麻烦。是这样吗?不,我无法将foreachRdd写入hbase,同时将其发送给kafka procuder(我使用的是scala)