C# 卡夫卡配置,仅查看最后5分钟的数据
对不起,我是卡夫卡的新手,这个问题可能很简单,但我需要一些帮助。 我没有弄清楚一些配置。 有一个数据流, 我希望消费者只看到procuders发送的最后5分钟的消息。我正在将Confluent.Kafka用于.NetC# 卡夫卡配置,仅查看最后5分钟的数据,c#,apache-kafka,confluent-platform,C#,Apache Kafka,Confluent Platform,对不起,我是卡夫卡的新手,这个问题可能很简单,但我需要一些帮助。 我没有弄清楚一些配置。 有一个数据流, 我希望消费者只看到procuders发送的最后5分钟的消息。我正在将Confluent.Kafka用于.Net var config = new Dictionary<string, object>{ {"group.id","Test1Costumers"}, {"bootstrap.servers",broker
var config = new Dictionary<string, object>{
{"group.id","Test1Costumers"},
{"bootstrap.servers",brokerEndpoint},
{ "auto.commit.interval.ms", 60000},
{ "auto.offset.reset", "earliest" }
};
一分钟后,文件当前使用的抛出错误
谢谢你的帮助 在Kafka
server.properties
中有一个名为log.segment.bytes
的设置,默认设置为1GB。一旦一个日志段达到1GB,它就会关闭,只有在关闭之后,保留才会生效。例如,如果您每天生成100MB的邮件,并且您的保留期为1周,那么在删除之前,您实际上会将数据保留约17天。这是因为日志段需要10天时间才能填满(1GB),从那时起,将开始保留。在您的情况下,我假设您没有更改log.segment.bytes
的值,但是您的保留率非常低。因此,它将无法清理数据,因为日志段尚未关闭。您在windows下吗?你能贴日志吗?是的,我在windows下,但我不知道日志在哪里。我需要在最后5分钟内得到消息。我将启动一个作业,以使用5分钟内生成的消息。e、 例如,如果当前时间是11:15,我将在11:10和11:15之间使用消息。这意味着我需要得到时间11:10的开始偏移量和时间当前时间的结束偏移量。当我开始一个新的配偶时,它会给我所有来自Begging的信息。
# The minimum age of a log file to be eligible for deletion due to age
log.retention.ms=60000