Apache kafka 卡夫卡伊-找到最有效的方法

Apache kafka 卡夫卡伊-找到最有效的方法,apache-kafka,kafkajs,Apache Kafka,Kafkajs,(说到卡夫卡和卡夫卡,完全是初学者,如果这是一个愚蠢的问题,我很抱歉) 我有一个问题,我们的主题保留了48小时的数据(数百万条记录);我想知道从这个主题中获取最后“20分钟”的数据,然后再传输新消息的最佳方式 本主题中的每条消息都是JSON,并且都有一个时间戳(以UNIX毫秒为单位,以UTC为单位) 性能显然是这里的一个问题Java客户机中有一个工具可以通过时间戳来寻找偏移量。 卡夫卡伊对此有一个明确的定义,但似乎没有得到验证和合并 我想,节点rdkafka有它。下面是一个例子() 当你得到偏移

(说到卡夫卡和卡夫卡,完全是初学者,如果这是一个愚蠢的问题,我很抱歉)

我有一个问题,我们的主题保留了48小时的数据(数百万条记录);我想知道从这个主题中获取最后“20分钟”的数据,然后再传输新消息的最佳方式

本主题中的每条消息都是JSON,并且都有一个时间戳(以UNIX毫秒为单位,以UTC为单位)


性能显然是这里的一个问题

Java客户机中有一个工具可以通过时间戳来寻找偏移量。 卡夫卡伊对此有一个明确的定义,但似乎没有得到验证和合并

我想,
节点rdkafka
有它。下面是一个例子()

当你得到偏移量时,你可以寻找它们并开始阅读

consumer.offsetsForTimes(
    [ {topic: 'hi', partition: 0, offset: Date.now() - (20*60*1000) } ],
    timeout,
    console.log
);