Apache kafka 如何在python中每30分钟使用kafka队列
我有一个关于python中kafka消费者的问题,下面是我的用例kafka producer将每秒以实时流方式发送数据。但卡夫卡消费者需要每30分钟消费一次,并收集一批数据。帮我解决 如果您不想实时处理数据,您可能需要重新考虑卡夫卡是否适合您。但是,您可以尝试以下方法:Apache kafka 如何在python中每30分钟使用kafka队列,apache-kafka,kafka-consumer-api,kafka-python,Apache Kafka,Kafka Consumer Api,Kafka Python,我有一个关于python中kafka消费者的问题,下面是我的用例kafka producer将每秒以实时流方式发送数据。但卡夫卡消费者需要每30分钟消费一次,并收集一批数据。帮我解决 如果您不想实时处理数据,您可能需要重新考虑卡夫卡是否适合您。但是,您可以尝试以下方法: Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("group.id", "y
Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("group.id", "your_consumer_group");
props.put("enable.auto.commit", "true");
props.put("auto.commit.interval.ms", "1000");
props.put("session.timeout.ms", "30000");
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
consumer.subscribe(Arrays.asList("foo", "bar"));
while (true) {
ConsumerRecords<String, String> records = consumer.poll(1000);
for (ConsumerRecord<String, String> record : records) {
System.out.printf("offset = %d, key = %s, value = %s", record.offset(), record.key(), record.value());
}
// After data is consumed, you make your thread sleep until next 30 min:
Thread.sleep(30 * 60 * 1000);
}
它将使您的消费者在00:00
、00:30
、01:00
、01:30
等时间醒来。
有关详细信息,请访问此链接:
再说一次,你可能不想这样使用卡夫卡。最好将数据转储到一些存储中(例如,按日期时间分区的拼花地板文件),并每30分钟对其进行一次批处理
Thread.sleep(System.currentTimeMillis() % (30*60*1000));