Java 卡夫卡连接卡桑德拉数据库

我使用卡夫卡有多种用途，但我想使用Kafka的connect API，但我无法理解为什么要使用Kafka connect，而不是编写我们自己的消费群体，并在任何数据库中编写消息，而不用编写复杂的东西，也不用像confluent在Kafka connect中那样添加其他包

连接作为一个框架负责故障转移，您还可以在分布式模式下运行它，以扩展数据导入/导出“作业”。因此，连接真的是一种“火而忘”的体验。此外，对于Connect，您不需要编写任何代码——只需配置连接器即可

---

如果您手动构建，基本上可以解决Connect已经解决的问题（即，重新发明轮子）。不要低估这项任务的复杂性——表面上看，这项任务听起来很简单，但看起来更复杂。

连接作为一个框架负责故障转移，您也可以在分布式模式下运行它，以扩展数据导入/导出“作业”。因此，连接真的是一种“火而忘”的体验。此外，对于Connect，您不需要编写任何代码——只需配置连接器即可

---

如果您手动构建，基本上可以解决Connect已经解决的问题（即，重新发明轮子）。不要低估这项任务的复杂性——表面上看，这听起来很简单，但看起来更复杂。

Kafka Connect为希望将数据移入和移出Apache Kafka的用户和开发人员提供了一个有用的抽象

用户可以从不断增长的网络中选择连接器，只需提交适当的配置，即可快速高效地将其数据与Kafka集成。开发人员可以为他们的特殊用例实现一个连接器，而不必担心生产者和消费者集群的低级别管理以及如何实现这样的集群规模（如前所述）

正如在软件中经常发生的那样，如果某个特定的软件抽象不适合您的需要，您可能必须降低一个或多个抽象级别，并使用较低级别的结构编写代码。在我们的例子中，这些是卡夫卡生产者和消费者，它们仍然是一个非常健壮且易于使用的抽象，用于将数据移入和移出卡夫卡

---

现在，让我们来看一下您所指的特定点，即在Kafka Connect中通常被称为处理错误或不兼容数据的内容，这是目前连接器开发人员的主要责任。但是，我们打算为框架提供一些方法，以促进对坏数据的处理，并使其更多地成为配置问题，而不是连接器实现问题。这是近期的路线图

Kafka Connect为希望将数据移入和移出Apache Kafka的用户和开发人员提供了一个有用的抽象

用户可以从不断增长的网络中选择连接器，只需提交适当的配置，即可快速高效地将其数据与Kafka集成。开发人员可以为他们的特殊用例实现一个连接器，而不必担心生产者和消费者集群的低级别管理以及如何实现这样的集群规模（如前所述）

正如在软件中经常发生的那样，如果某个特定的软件抽象不适合您的需要，您可能必须降低一个或多个抽象级别，并使用较低级别的结构编写代码。在我们的例子中，这些是卡夫卡生产者和消费者，它们仍然是一个非常健壮且易于使用的抽象，用于将数据移入和移出卡夫卡

---

现在，让我们来看一下您所指的特定点，即在Kafka Connect中通常被称为处理错误或不兼容数据的内容，这是目前连接器开发人员的主要责任。但是，我们打算为框架提供一些方法，以促进对坏数据的处理，并使其更多地成为配置问题，而不是连接器实现问题。这是近期的路线图

使用连接器类的一个主要问题是异常处理。如果json数据与所需格式不匹配，则连接器会给出一个异常，如“错误任务将被终止，并且在手动重新启动之前不会恢复”。使用连接器类的一个主要问题是异常处理。如果json数据与所需格式不匹配，则连接器会给出一个异常，如“错误任务正在终止，在手动重新启动之前不会恢复”