Apache kafka 卡夫卡流体系结构

我希望从建筑的角度澄清一些关于卡夫卡流的想法

我了解流处理和数据充实的用途，如果将数据推回到Kafka中，其他应用程序可以重用这些数据，但流应用程序的正确实现是什么

我最初的想法是创建一个应用程序，该应用程序拉入一个表，将其连接到一个流，然后为每个条目触发一个事件，而不是将其推回Kafka。如果多个服务使用这些数据，那么每个服务都将实现它们自己的表，对吗

我还没有实现一个测试应用程序，它可能会回答其中的一些问题，但我认为这是一个规划的好地方。基本上，应该在哪里触发事件，在流媒体应用程序中还是在单独的消费者应用程序中

我最初的想法是创建一个应用程序，该应用程序拉入一个表，将其连接到一个流，然后为每个条目触发一个事件，而不是将其推回Kafka

在事件驱动的体系结构中，如果您认为Kafka主题不应作为与其他应用程序共享事件的目的地，那么应用程序将事件发送到何处（以及如何发送）？你还有其他偏好吗

如果多个服务使用这些数据，那么每个服务都将实现它们自己的表，对吗

是的，这是一个选择

另一个选项是使用KStreams（也称为可查询状态）中的功能，这允许您的第一个应用程序直接（例如，通过RESTAPI）向其他应用程序公开其表和状态存储。其他应用则不需要具体化它们自己的表。然而，体系结构的一个缺点是，您现在可以通过请求-响应通信在第一个应用程序和任何其他下游应用程序之间进行直接耦合。虽然这种直接服务间通信模式在微服务体系结构中很流行，但另一个引人注目的选择是不使用直接通信，而是让微服务/应用程序通过Kafka间接相互通信（即使用前面的选项）

基本上，应该在哪里触发事件，在流媒体应用程序中还是在单独的消费者应用程序中

这是一个偏好问题，见上文。为了说明您的想法，您可能需要阅读关于Kafka事件驱动架构的四部分迷你系列：（免责声明：本系列博客由我的一位同事撰写）

我最初的想法是创建一个应用程序，该应用程序拉入一个表，将其连接到一个流，然后为每个条目触发一个事件，而不是将其推回Kafka

在事件驱动的体系结构中，如果您认为Kafka主题不应作为与其他应用程序共享事件的目的地，那么应用程序将事件发送到何处（以及如何发送）？你还有其他偏好吗

如果多个服务使用这些数据，那么每个服务都将实现它们自己的表，对吗

是的，这是一个选择

另一个选项是使用KStreams（也称为可查询状态）中的功能，这允许您的第一个应用程序直接（例如，通过RESTAPI）向其他应用程序公开其表和状态存储。其他应用则不需要具体化它们自己的表。然而，体系结构的一个缺点是，您现在可以通过请求-响应通信在第一个应用程序和任何其他下游应用程序之间进行直接耦合。虽然这种直接服务间通信模式在微服务体系结构中很流行，但另一个引人注目的选择是不使用直接通信，而是让微服务/应用程序通过Kafka间接相互通信（即使用前面的选项）

基本上，应该在哪里触发事件，在流媒体应用程序中还是在单独的消费者应用程序中

---

这是一个偏好问题，见上文。为了提醒您的想法，您可能需要阅读关于Kafka事件驱动体系结构的四部分迷你系列：（免责声明：本博客系列由我的一位同事撰写）。

Kafka Streams有一个

forEach

动作，但我认为这取决于其他应用程序是否也希望对相同的数据采取行动，并且会从普通消费者那里采取行动。这是我在想@cricket_007时的想法，我一直在看演示和文档，但好奇的是，我是否遗漏了什么Kafka Streams有一个

forEach

动作，但我认为这取决于其他应用程序是否也希望对相同的数据采取行动，并且会从普通消费者那里采取行动。这正是我所想的@cricket_007，我一直在看演示和文档，但很好奇我是否遗漏了什么。我们有些见解，这是我发帖所希望的！谢谢你的真知灼见，这正是我发帖所希望的！谢谢