Java 使用卡夫卡消费spark RDD
是否有JAVA中使用Kafka使用spark RDD的示例,如果有,请告诉我 我正在尝试一些东西,但我不确定如何在制作人中发送RDD并在Kafka consumer中使用它Java 使用卡夫卡消费spark RDD,java,apache-spark,apache-kafka,Java,Apache Spark,Apache Kafka,是否有JAVA中使用Kafka使用spark RDD的示例,如果有,请告诉我 我正在尝试一些东西,但我不确定如何在制作人中发送RDD并在Kafka consumer中使用它 谢谢。为kafka编写RDD,您可以使用cloudera的API。以下是。代码如下: import org.apache.spark.streaming.kafka.*; JavaPairReceiverInputDStream<String, String> directKafkaStream =
谢谢。为kafka编写RDD,您可以使用cloudera的API。以下是。代码如下:
import org.apache.spark.streaming.kafka.*;
JavaPairReceiverInputDStream<String, String> directKafkaStream =
KafkaUtils.createDirectStream(streamingContext,
[key class], [value class], [key decoder class], [value decoder class],
[map of Kafka parameters], [set of topics to consume]);
import org.apache.spark.streaming.kafka.*;
JavaPairReceiverInputStream directKafkaStream=
KafkaUtils.createDirectStream(streamingContext,
[密钥类],[值类],[密钥解码器类],[值解码器类],
[卡夫卡参数图],[消费主题集];
看一看