Apache kafka 卡夫卡行动

Apache kafka 卡夫卡行动,apache-kafka,architecture,software-design,Apache Kafka,Architecture,Software Design,嗨,我对卡夫卡操作非常陌生,我从中了解到的只是事件数据存储在所谓的主题中。这些主题类似于日志,被写入磁盘,甚至被复制 什么是生产者和消费者?它们本质上只是应用程序的一部分吗?比如微服务,其中一个生成数据,另一个请求数据 我的问题是,传统数据库和卡夫卡主题到底有什么区别? 只是数据类型不同吗? 在数据库中存储对象,在主题中存储事件?它们都被写入硬盘 卡夫卡到底解决了什么问题? 分散的微服务与跨微服务的依赖关系存在一些问题 卡夫卡如何解决这个问题 谢谢大家首先,生产者和消费者可以成为同一应用程序的一

嗨,我对卡夫卡操作非常陌生,我从中了解到的只是事件数据存储在所谓的主题中。这些主题类似于日志,被写入磁盘,甚至被复制

什么是生产者和消费者?它们本质上只是应用程序的一部分吗?比如微服务,其中一个生成数据,另一个请求数据

我的问题是,传统数据库和卡夫卡主题到底有什么区别? 只是数据类型不同吗? 在数据库中存储对象,在主题中存储事件?它们都被写入硬盘

卡夫卡到底解决了什么问题? 分散的微服务与跨微服务的依赖关系存在一些问题

卡夫卡如何解决这个问题


谢谢大家

首先,生产者和消费者可以成为同一应用程序的一部分。使用卡夫卡不需要“微服务”

一个生产者数据,另一个请求数据

传统数据库和卡夫卡主题之间到底有什么区别

不清楚你认为什么是“常规”数据库,但卡夫卡本身没有查询能力,也没有任何定义的记录模式。这些特性由外部工具启用

它们都被写入硬盘

并非所有数据库都写入磁盘。卡夫卡确实会写入磁盘

卡夫卡到底解决了什么问题

网站上提到了,但最初的目标是将日志/度量聚合到数据湖中,而不是服务内通信


但如果您有点对点依赖关系链,则需要确保该链中的所有应用程序都已启动,而它们可能会偶尔出现故障,并且从停止读取复制日志的位置拾取数据将存储在所谓的主题中。这些主题类似于日志,被写入磁盘,甚至被复制

卡夫卡中的数据被视为事件。每个事件通常都表示发生了什么。事件存储在Kafka代理上的给定主题中。该主题可以看作是将数据组织成类别的一种方式

什么是生产者和消费者

制作人创建事件并将其提交给Kafka代理,后者随后将这些事件存储在适当的主题中。消费者可以使用前面提到的数据,提取生产者创建的事件

我的问题是,传统数据库和卡夫卡主题到底有什么区别

很难定义传统。但我想不,卡夫卡不是一个传统的数据库。您可能会经常发现自己在使用卡夫卡的其他数据库。卡夫卡最适合捕捉实时事件,存储它们以便实时地将它们引导到其他地方(历史检索也是可能的)

卡夫卡到底解决了什么问题

处理任何需要事件流的内容。它可以持久地这样做,并在处理大量数据时提供了大量的保证和灵活性

总而言之:我建议您首先阅读在中找到的文档的第一部分。 如果你真的想深入研究,你还可以找到一本名为《卡夫卡:权威版》的书