Java 卡夫卡资源问题
我对Knative Eventing有一个问题,我想得到你的帮助,因为我对它很了解。 我使用的是Knative v0.10.0、minikube v1.5.2、Docker v19.03.1和Kafka 2.3.1(用作事件源)。我使用kafka Java客户端API和Spring Boot开发了一个kafka生产者和一个kafka消费者。它们在管道中工作,因此我有一个CronJobSource,它每X分钟唤醒一次我的制作人,制作人向卡夫卡主题发送一些事件,然后我配置了一个卡夫卡资源,用于收听该主题并唤醒消费者。事实上,KafkaSource什么都不做,即使一切看起来都配置得很好,我尝试记录KafkaSource,但它没有错误或成功的日志。如果我不通过KafkaSource手动唤醒制作人和消费者,他们都可以正常工作 这是我的KafkaSource yaml文件配置:Java 卡夫卡资源问题,java,apache-kafka,spring-kafka,knative,Java,Apache Kafka,Spring Kafka,Knative,我对Knative Eventing有一个问题,我想得到你的帮助,因为我对它很了解。 我使用的是Knative v0.10.0、minikube v1.5.2、Docker v19.03.1和Kafka 2.3.1(用作事件源)。我使用kafka Java客户端API和Spring Boot开发了一个kafka生产者和一个kafka消费者。它们在管道中工作,因此我有一个CronJobSource,它每X分钟唤醒一次我的制作人,制作人向卡夫卡主题发送一些事件,然后我配置了一个卡夫卡资源,用于收听该
apiVersion: sources.eventing.knative.dev/v1alpha1
kind: KafkaSource
metadata:
name: ods-datamartextractor-kafka-source
spec:
consumerGroup: ods-dataconverter-consumer-group-id
bootstrapServers: my-cluster-kafka-bootstrap.kafka:9092
topics: datamartextractor-topic
sink:
ref:
apiVersion: serving.knative.dev/v1
kind: Service
name: ods-dataconverter-service
这是我的卡夫卡制作人代码:
@Service
public class ODSDataMartExtractor {
public void sendEvent(DataMart dataMart) {
String event = dataMart.toString();
logger.info(String.format("#### -> Producing message -> " + event));
ListenableFuture<SendResult<String, String>> future = kafkaTemplate.send("datamartextractor-topic", event);
future.addCallback(new ListenableFutureCallback<SendResult<String, String>>() {
@Override
public void onSuccess(SendResult<String, String> result) {
System.out.println("Sent message=[" + event + "] with offset=[" + result.getRecordMetadata().offset() + "]");
}
@Override
public void onFailure(Throwable ex) {
System.out.println("Unable to send message=[" + event + "] due to : " + ex.getMessage());
}
});
}
}
卡夫卡消费者配置:
@Configuration
public class KafkaProducerConfig {
@Bean
public ProducerFactory<String, String> producerFactory() {
Map<String, Object> configProps = new HashMap<>();
configProps.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "my-cluster-kafka-bootstrap.kafka:9092");
configProps.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class);
configProps.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class);
return new DefaultKafkaProducerFactory<>(configProps);
}
@Bean
public KafkaTemplate<String, String> kafkaTemplate() {
return new KafkaTemplate<>(producerFactory());
}
}
@EnableKafka
@Configuration
public class KafkaConsumerConfig {
@Bean
public ConsumerFactory<String, String> consumerFactory() {
Map<String, Object> props = new HashMap<>();
props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "my-cluster-kafka-bootstrap.kafka:9092");
props.put(ConsumerConfig.GROUP_ID_CONFIG, "ods-dataconverter-consumer-group-id");
props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
return new DefaultKafkaConsumerFactory<>(props);
}
@Bean
public ConcurrentKafkaListenerContainerFactory<String, String> kafkaListenerContainerFactory() {
ConcurrentKafkaListenerContainerFactory<String, String> factory = new ConcurrentKafkaListenerContainerFactory<>();
factory.setConsumerFactory(consumerFactory());
return factory;
}
}
@EnableKafka
@配置
公共类卡夫卡消费者配置{
@豆子
公共消费者工厂消费者工厂(){
Map props=newhashmap();
put(ConsumerConfig.BOOTSTRAP\u SERVERS\u CONFIG,“我的集群kafka BOOTSTRAP.kafka:9092”);
put(ConsumerConfig.GROUP_ID_CONFIG,“ods数据转换器消费者组ID”);
put(ConsumerConfig.KEY\u反序列化程序\u类\u配置,StringDeserializer.CLASS);
put(ConsumerConfig.VALUE\u反序列化程序\u类\u配置,StringDeserializer.CLASS);
返回新的默认卡夫卡消费工厂(道具);
}
@豆子
公共ConcurrentKafkaListenerContainerFactory kafkaListenerContainerFactory(){
ConcurrentKafkListenerContainerFactory=新ConcurrentKafkListenerContainerFactory();
setConsumerFactory(consumerFactory());
返回工厂;
}
}
谢谢大家! 也许会显示你的卡夫卡密码?问题用卡夫卡密码编辑谢谢。您如何知道
future.addCallback
实际上正在完成?根据你所说的,线程将在制作人未确认写入的情况下结束。。。卡夫卡制作者不会立即发送事件,他们会被分批发送到更大的消息中,因此可能会尝试发送更多的数据,甚至发送更多的数据。问题仍然存在。您能在日志中看到回调事件吗?
@EnableKafka
@Configuration
public class KafkaConsumerConfig {
@Bean
public ConsumerFactory<String, String> consumerFactory() {
Map<String, Object> props = new HashMap<>();
props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "my-cluster-kafka-bootstrap.kafka:9092");
props.put(ConsumerConfig.GROUP_ID_CONFIG, "ods-dataconverter-consumer-group-id");
props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
return new DefaultKafkaConsumerFactory<>(props);
}
@Bean
public ConcurrentKafkaListenerContainerFactory<String, String> kafkaListenerContainerFactory() {
ConcurrentKafkaListenerContainerFactory<String, String> factory = new ConcurrentKafkaListenerContainerFactory<>();
factory.setConsumerFactory(consumerFactory());
return factory;
}
}