Apache spark 阅读最新的spark kafka流媒体
我希望使用kafka只阅读spark streaming中的最新消息,但它也会获取过去的数据 如何在KafkaUtil中为spark设置auto.offset.resetApache spark 阅读最新的spark kafka流媒体,apache-spark,apache-kafka,spark-streaming,Apache Spark,Apache Kafka,Spark Streaming,我希望使用kafka只阅读spark streaming中的最新消息,但它也会获取过去的数据 如何在KafkaUtil中为spark设置auto.offset.reset JavaPairReceiverInputDStream<String, String> messages = KafkaUtils.createStream(jssc, args[0], args[1], topicMap); JavaPairReceiverInputStream消息=
JavaPairReceiverInputDStream<String, String> messages =
KafkaUtils.createStream(jssc, args[0], args[1], topicMap);
JavaPairReceiverInputStream消息=
创建流(jssc,args[0],args[1],topicMap);
如何将conf设置为仅获取当前消息。请举例说明
提前谢谢,还有一个
但是还不够,请帮我解决。提前感谢。您需要从KafkaUtils对象使用此方法:
def createStream[K, V, U <: Decoder[_], T <: Decoder[_]](
jssc: JavaStreamingContext,
keyTypeClass: Class[K],
valueTypeClass: Class[V],
keyDecoderClass: Class[U],
valueDecoderClass: Class[T],
kafkaParams: JMap[String, String],
topics: JMap[String, JInt],
storageLevel: StorageLevel
)
def createStream[K,V,U