Apache kafka 使用ApacheKafka查询MySQL表

我试图使用Kafka Streams来实现一个用例。 我在MySQL中有两个表——User和Account。我使用Kafka MySQL连接器将事件从MySQL导入Kafka

我需要从Kafka自身获取帐户中的所有用户ID。 因此，我计划在MySQL输出主题上使用KStream，对其进行处理以形成一个输出，并将其发布到一个主题，其中Key作为帐户id，value作为用户id，用逗号（，）分隔。 然后，我可以使用交互式查询通过ReadOnlyKeyValueStore类的get（）方法获取使用帐户id的所有用户id。 这样做对吗？有更好的办法吗？

---

可以在这里使用KSQL吗？

您可以使用Kafka Connect从MySQL流式传输数据，例如使用。在这里，您可以使用KStreams或KSQL来转换数据，包括重新设置密钥（我认为这是您在这里要做的），以及将其连接到其他流。

---

如果您将MySQL中的数据摄取到设置了日志压缩的主题中，那么可以保证主题中的每个键都具有最新的值

您可以使用Kafka Connect从MySQL流式传输数据，例如使用。在这里，您可以使用KStreams或KSQL来转换数据，包括重新设置密钥（我认为这是您在这里要做的），以及将其连接到其他流。

---

如果您将MySQL中的数据摄取到设置了日志压缩的主题中，那么可以保证主题中的每个键都具有最新的值

如果您希望在一个UI中对流数据进行内置CDC和交互式连续SQL查询，我会看看Strim。更多信息请点击此处：

---

如果您希望在一个UI中对流式数据进行内置CDC和交互式连续SQL查询，我想看看Strim。更多信息请点击此处：

---

您能总结一下您想对这些数据做什么吗？我知道你在MySQL中有两个表，你想把它们带到卡夫卡中，然后从那里用它们做什么？i、 你能描述一下需求吗？我有一个用Kafka streams编写的实时流媒体应用程序，它需要这些数据。进行HTTP调用或从MySql检索数据将非常耗时。因此，最好以可查询的形式保存卡夫卡本身的所有数据。在KSQL中使用“交互式查询”是不可能的。如果我在MySql中有一个表“user_details”，它是使用Debezum引入卡夫卡的。如果我想执行一个查询，如获取帐户abc中的所有用户，是否可以使用状态存储和KTable？我想如果您使用CDC方法，并使用实体（即：帐户）的最新数据更新KTable，您可以丰富您的KStream（即：用户）你能总结一下你想用这些数据做什么吗？我知道你在MySQL中有两个表，你想把它们带到卡夫卡中，然后从那里用它们做什么？i、 你能描述一下需求吗？我有一个用Kafka streams编写的实时流媒体应用程序，它需要这些数据。进行HTTP调用或从MySql检索数据将非常耗时。因此，最好以可查询的形式保存卡夫卡本身的所有数据。在KSQL中使用“交互式查询”是不可能的。如果我在MySql中有一个表“user_details”，它是使用Debezum引入卡夫卡的。如果我想执行一个查询，如获取帐户abc中的所有用户，是否可以使用状态存储和KTable？我想如果您使用CDC方法，并使用实体（即：帐户）的最新数据更新KTable，您可以丰富您的KStream（即：用户）使用帐户信息并从那里执行您的逻辑。我试图使用Kstreams来实现我的用例。这里，转换输出应该是一个键值对，其中键是帐户id，值是由逗号分隔的用户id。KStream正在使用debezium用户表主题。我面临的问题是，我需要在每个插入事件的现有字符串中附加一个新的userId。我需要访问输出主题以获取现有字符串。我应该使用状态存储从'stream.map（）'方法内部访问输出主题吗？我试图使用Kstreams来实现我的用例。这里，转换输出应该是一个键值对，其中键是帐户id，值是由逗号分隔的用户id。KStream正在使用debezium用户表主题。我面临的问题是，我需要在每个插入事件的现有字符串中附加一个新的userId。我需要访问输出主题以获取现有字符串。是否应该使用状态存储从“stream.map（）”方法内部访问输出主题？