Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hbase 如何使spark写入多个源foreachrdd_Hbase_Apache Kafka_Spark Streaming - Fatal编程技术网

Hbase 如何使spark写入多个源foreachrdd

Hbase 如何使spark写入多个源foreachrdd,hbase,apache-kafka,spark-streaming,Hbase,Apache Kafka,Spark Streaming,我制作了一个spark流媒体程序,从卡夫卡的源代码中读取。经过一些转换后,我需要将数据发送给两个卡夫卡制作者,还需要发送给hbase 我通过spark流媒体接收此数据: Customer1 21631512435 2 1449540003.803 1449540363.571 25566530 27670 1557041 19491 65664 1 197.26.8.142 197.31.74.208 Customer2 21631526589 4

我制作了一个spark流媒体程序,从卡夫卡的源代码中读取。经过一些转换后,我需要将数据发送给两个卡夫卡制作者,还需要发送给hbase

我通过spark流媒体接收此数据:

Customer1   21631512435 2   1449540003.803  1449540363.571  25566530    27670   1557041 19491   65664   1   197.26.8.142    197.31.74.208
Customer2   21631526589 4   1449540003.821  1339540363.565  25536520    27369   1545811 19487   65659   5   197.25.2.135    197.31.74.206
我想进行一些转换,并将其发送给2名卡夫卡制作人,同时将副本保存到hbase中

我在这里找到了一些关于向卡夫卡制作人发送数据并保存到hbase的例子,但我的问题是我没有sbt或maven,我使用的是spark shell(spark 1.3)。我发现在导入jar时有很多问题


我已经在读卡夫卡的故事并把它保存到hdfs中了。有人能帮我完成这项任务吗?

可能是重复的。你能说明你想要完成什么吗?听起来你已经能够阅读卡夫卡的内容并向hbase写信了,但是你在向卡夫卡写信时遇到了麻烦。这是正确的吗?不,我无法将foreachRdd写入hbase,同时将其发送给kafka procuder(我使用的是scala)可能的副本您能否澄清您希望实现的目标?听起来你已经能够阅读卡夫卡的内容并向hbase写信了,但是你在向卡夫卡写信时遇到了麻烦。是这样吗?不,我无法将foreachRdd写入hbase,同时将其发送给kafka procuder(我使用的是scala)