Debezium Kafka Connect需要重新启动,PostgreSQL cdc才能工作

Debezium Kafka Connect需要重新启动,PostgreSQL cdc才能工作,postgresql,apache-kafka-connect,debezium,change-data-capture,Postgresql,Apache Kafka Connect,Debezium,Change Data Capture,我正在尝试使用以下设置与debezium kafka connect进行cdc: 动物园管理员 卡夫卡 PostgreSQL 卡夫卡连接 我也在按照这个顺序配置和启动它们 启动Kafka Connect Debezium后,我会发布一篇帖子对其进行配置: { "name": "postgres-boxes-connector", "config": { "connector.class": "io.debezium.connector.postgresql.PostgresC

我正在尝试使用以下设置与debezium kafka connect进行cdc:

  • 动物园管理员
  • 卡夫卡
  • PostgreSQL
  • 卡夫卡连接
我也在按照这个顺序配置和启动它们

启动Kafka Connect Debezium后,我会发布一篇帖子对其进行配置:

{
  "name": "postgres-boxes-connector",
  "config": {
    "connector.class": "io.debezium.connector.postgresql.PostgresConnector",
    "database.hostname": "172.17.0.4",
    "database.port": "5432",
    "database.user": "postgres",
    "database.password": "postgres",
    "database.dbname" : "postgres",
    "database.server.name": "fullfillment",
    "table.whitelist": "public.boxes"
  }
}
启动watcher后,我看到以下警告/错误:

WARN [Consumer clientId=consumer-1, groupId=console-consumer-53726] Error while fetching metadata with correlation id 2 : {fullfillment.public.boxes=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient)
现在,当我重新启动Kafka Connect Debezium时,一切正常,没有错误,cdc也正常工作


我现在正试图弄明白为什么我必须重新启动卡夫卡连接才能让它工作,希望它可以避免。如果需要更多信息,我很乐意提供更多信息。

您必须重新启动worker,以便在安装连接器插件时拾取它。除此之外,连接器无需重新启动Connect worker即可工作


您看到的只是一个
警告
,这意味着任务将继续执行。创建新主题时,通常会看到
LEADER\u NOT\u AVAILABLE
,然后创建新主题(如果连续看到
LEADER\u NOT\u AVAILABLE
,并且没有停止,则表明主题尚未自动创建,您可能需要手动创建).

如果不重新启动Kafka Connect worker,您确定它不起作用吗?当创建一个新主题,然后随后又创建了一个新主题时,通常会看到
标题\u NOT \u AVAILABLE
。会有某种形式的延误吗?任何情况下,我们都会在tommorow再次尝试,我会发布一个更新,您看到的只是一个
警告
,这意味着任务将继续执行。如果您再次遇到这种情况,请更详细地解释什么不起作用/症状是什么。@RobinMoffatt我们已尝试从头开始设置,没有遇到问题。谢谢你的澄清。很高兴它起作用了。我已经发布了一个答案,如果你同意的话,你可以接受,这样其他找到这个帖子的人可以清楚地看到结果是什么。