Apache kafka kafka代理是否需要先提交到磁盘,然后消费者才能读取

Apache kafka kafka代理是否需要先提交到磁盘,然后消费者才能读取,apache-kafka,Apache Kafka,一旦生产者向代理发送消息,代理是否需要刷新到磁盘,然后才能将其提供给消费者?或者它可以在提交到磁盘之前直接从页面缓存发送 我们正在尝试将kafka用于股票市场数据,在这些数据中,短时间内的消息速率可能非常高,因此在向消费者公开之前写入/刷新磁盘会增加严重的延迟。kafka使用复制来保持数据的一致性。如果在写入/刷新之前向使用者提供数据,然后在将数据刷新到磁盘之前丢失分区的引线,则系统将不一致 消息只有在写入分区的特定段后才可供使用者使用 只允许从leader分区读取消息,并且只能读取已复制到所有

一旦生产者向代理发送消息,代理是否需要刷新到磁盘,然后才能将其提供给消费者?或者它可以在提交到磁盘之前直接从页面缓存发送


我们正在尝试将kafka用于股票市场数据,在这些数据中,短时间内的消息速率可能非常高,因此在向消费者公开之前写入/刷新磁盘会增加严重的延迟。

kafka使用复制来保持数据的一致性。如果在写入/刷新之前向使用者提供数据,然后在将数据刷新到磁盘之前丢失分区的引线,则系统将不一致

消息只有在写入分区的特定段后才可供使用者使用

只允许从leader分区读取消息,并且只能读取已复制到所有同步副本的消息。如果尝试获取未在同步副本上复制的消息,则将得到空响应

我们应该调整以下参数,以便同步复制副本与leader同步,以便消费者可以非常快速地读取数据

replica.lag.time.max.ms、replica.fetch.wait.max.ms和replica.fetch.min.bytes