Python 阅读后如何删除卡夫卡信息
我正在使用下面的代码阅读某个主题的消息。阅读邮件后如何删除Python 阅读后如何删除卡夫卡信息,python,apache-kafka,Python,Apache Kafka,我正在使用下面的代码阅读某个主题的消息。阅读邮件后如何删除 from kafka import KafkaConsumer consumer = KafkaConsumer('my-topic', group_id='my-group', bootstrap_servers=['localhost:9092']) for message in consumer:
from kafka import KafkaConsumer
consumer = KafkaConsumer('my-topic',
group_id='my-group',
bootstrap_servers=['localhost:9092'])
for message in consumer:
# message value and key are raw bytes -- decode if necessary!
# e.g., for unicode: `message.value.decode('utf-8')`
print ("%s:%d:%d: key=%s value=%s" % (message.topic, message.partition,
message.offset, message.key,
message.value))
没有办法从卡夫卡身上删除特定的信息——卡夫卡根本就不是为了这样做而设计的。删除邮件的唯一方法是将kafka的
config/server.properties
中的log.retention.hours
设置为您喜欢的值。默认值为168-意味着消息在168小时后不会保留
如果您正在寻找一种从特定偏移量读取消息的方法,即不是每次都从开头读取,请查看此处commit()
-向卡夫卡提交读取偏移量seek\u to\u end()
-快进到仅使用新到达的邮件seek()
-移动到给定偏移量(可能存储在卡夫卡以外的其他地方)这可能会有帮助: