Database 使用Kafka查询设定时间段内的历史timeseries数据

Database 使用Kafka查询设定时间段内的历史timeseries数据,database,apache-kafka,streaming,time-series,bigdata,Database,Apache Kafka,Streaming,Time Series,Bigdata,我目前正在阅读Kafka的文章,试图找到一种将timeseries数据库存储引擎从应用程序中分离出来的方法,使其更像是一种通用的独立微服务,而不是当前应用程序的一个组成部分 目前,我们将样本数据(带有时间戳)存储在内部开发的timeseries数据库中,我们的应用程序使我们能够进行专门针对行业的大规模分析 Kafka似乎非常适合连续地将数据流式传输到数据源中或从数据源中流出(我们也需要这样做),但在过去的一段时间内查询数据源以获得数据结果流(因此有开始和结束),似乎不属于Kafka的范围。 也就

我目前正在阅读Kafka的文章,试图找到一种将timeseries数据库存储引擎从应用程序中分离出来的方法,使其更像是一种通用的独立微服务,而不是当前应用程序的一个组成部分

目前,我们将样本数据(带有时间戳)存储在内部开发的timeseries数据库中,我们的应用程序使我们能够进行专门针对行业的大规模分析

Kafka似乎非常适合连续地将数据流式传输到数据源中或从数据源中流出(我们也需要这样做),但在过去的一段时间内查询数据源以获得数据结果流(因此有开始和结束),似乎不属于Kafka的范围。 也就是说,我还没有找到一个合适的方法来在卡夫卡中创造它

读过这篇文章后:我想我已经非常接近我想要的了,但我还看不出卡夫卡如何处理不同时间段内不同记录样本集的各种查询

我们在很长一段时间内拥有大量样本数据集(3年以上的10000个样本集,采样率为每5秒到每1分钟),由于我们的存储有限,我希望卡夫卡提供了一种更“瞬时”的方式,而不是将每个请求的结果数据存储2天(默认设置),如果我理解正确的话,每次我们想做分析的时候都能得到数据

我离得太近了,但我不知道如何在卡夫卡中正确地做到这一点


非常感谢您抽出时间。

在深入阅读卡夫卡之后,我要寻找的是一个“批处理管道”的示例。请提供更具体的信息,即您想要一个答案,即“什么是您不能理解的。”