Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
C# 卡夫卡配置,仅查看最后5分钟的数据_C#_Apache Kafka_Confluent Platform - Fatal编程技术网

C# 卡夫卡配置,仅查看最后5分钟的数据

C# 卡夫卡配置,仅查看最后5分钟的数据,c#,apache-kafka,confluent-platform,C#,Apache Kafka,Confluent Platform,对不起,我是卡夫卡的新手,这个问题可能很简单,但我需要一些帮助。 我没有弄清楚一些配置。 有一个数据流, 我希望消费者只看到procuders发送的最后5分钟的消息。我正在将Confluent.Kafka用于.Net var config = new Dictionary<string, object>{ {"group.id","Test1Costumers"}, {"bootstrap.servers",broker

对不起,我是卡夫卡的新手,这个问题可能很简单,但我需要一些帮助。 我没有弄清楚一些配置。 有一个数据流, 我希望消费者只看到procuders发送的最后5分钟的消息。我正在将Confluent.Kafka用于.Net

var config = new Dictionary<string, object>{
                {"group.id","Test1Costumers"},
                {"bootstrap.servers",brokerEndpoint},
                { "auto.commit.interval.ms", 60000},
                { "auto.offset.reset", "earliest" }
            };
一分钟后,文件当前使用的抛出错误


谢谢你的帮助

在Kafka
server.properties
中有一个名为
log.segment.bytes
的设置,默认设置为1GB。一旦一个日志段达到1GB,它就会关闭,只有在关闭之后,保留才会生效。例如,如果您每天生成100MB的邮件,并且您的保留期为1周,那么在删除之前,您实际上会将数据保留约17天。这是因为日志段需要10天时间才能填满(1GB),从那时起,将开始保留。在您的情况下,我假设您没有更改
log.segment.bytes
的值,但是您的保留率非常低。因此,它将无法清理数据,因为日志段尚未关闭。

您在windows下吗?你能贴日志吗?是的,我在windows下,但我不知道日志在哪里。我需要在最后5分钟内得到消息。我将启动一个作业,以使用5分钟内生成的消息。e、 例如,如果当前时间是11:15,我将在11:10和11:15之间使用消息。这意味着我需要得到时间11:10的开始偏移量和时间当前时间的结束偏移量。当我开始一个新的配偶时,它会给我所有来自Begging的信息。
# The minimum age of a log file to be eligible for deletion due to age
log.retention.ms=60000