Java 使用卡夫卡消费spark RDD

Java 使用卡夫卡消费spark RDD,java,apache-spark,apache-kafka,Java,Apache Spark,Apache Kafka,是否有JAVA中使用Kafka使用spark RDD的示例,如果有,请告诉我 我正在尝试一些东西,但我不确定如何在制作人中发送RDD并在Kafka consumer中使用它 谢谢。为kafka编写RDD,您可以使用cloudera的API。以下是。代码如下: import org.apache.spark.streaming.kafka.*; JavaPairReceiverInputDStream<String, String> directKafkaStream =

是否有JAVA中使用Kafka使用spark RDD的示例,如果有,请告诉我

我正在尝试一些东西,但我不确定如何在制作人中发送RDD并在Kafka consumer中使用它


谢谢。

为kafka编写RDD,您可以使用cloudera的API。以下是。

代码如下:

import org.apache.spark.streaming.kafka.*;

 JavaPairReceiverInputDStream<String, String> directKafkaStream = 
     KafkaUtils.createDirectStream(streamingContext,
         [key class], [value class], [key decoder class], [value decoder class],
         [map of Kafka parameters], [set of topics to consume]);
import org.apache.spark.streaming.kafka.*;
JavaPairReceiverInputStream directKafkaStream=
KafkaUtils.createDirectStream(streamingContext,
[密钥类],[值类],[密钥解码器类],[值解码器类],
[卡夫卡参数图],[消费主题集];
看一看