Apache kafka Kafka Connect-获取相关id未知的元数据时出错\u主题\u或\u分区
我们让Kafka Connect运行postgres连接器,它从数据库中提取更改并将其放入主题中。我们遇到了一个错误Apache kafka Kafka Connect-获取相关id未知的元数据时出错\u主题\u或\u分区,apache-kafka,apache-kafka-connect,debezium,Apache Kafka,Apache Kafka Connect,Debezium,我们让Kafka Connect运行postgres连接器,它从数据库中提取更改并将其放入主题中。我们遇到了一个错误 ERROR WorkerSourceTask{id=wem-postgres-source-0}刷新失败,在等待生产者刷新未完成的1条消息时超时 接 ERROR WorkerSourceTask{id=wem-postgres-source-0}未能提交偏移量(org.apache.kafka.connect.runtime.SourceTaskOffsetCommitter)
ERROR WorkerSourceTask{id=wem-postgres-source-0}刷新失败,在等待生产者刷新未完成的1条消息时超时
接
ERROR WorkerSourceTask{id=wem-postgres-source-0}未能提交偏移量(org.apache.kafka.connect.runtime.SourceTaskOffsetCommitter)
接
[2020-01-30 09:51:52219]获取相关id为606994的元数据时出现警告[Producer clientId=Producer-8]错误:{topicname=UNKNOWN\u TOPIC\u或\u PARTITION}(org.apache.kafka.clients.NetworkClient)
我们已经验证了这个主题的存在,对这个主题做了一个描述给我们这个
zookeeper-1 [root@XX /bin]# ./kafka-topics --describe --zookeeper <zookeeper>:2181 --topic topicname
Topic:topicname PartitionCount:1 ReplicationFactor:3 Configs:
Topic: topicname Partition: 0 Leader: 2 Replicas: 2,3,1 Isr: 3,2,1
zookeeper-1[root@XX/bin]#/kafka主题——描述——动物园管理员:2181——主题主题名称
主题:topicname分区计数:1复制因子:3配置:
主题:topicname分区:0前导:2个副本:2,3,1 Isr:3,2,1
错误WorkerSourceTask{id=wem-postgres-source-0}刷新失败,在等待生产者刷新未完成的1消息时超时
及
[2020-01-30 09:51:52219]获取相关id为606994的元数据时出现警告[Producer clientId=Producer-8]错误:{topicname=UNKNOWN\u TOPIC\u或\u PARTITION}(org.apache.kafka.clients.NetworkClient)
他们来自同一个问题。您是否尝试访问卡夫卡群集或升级卡夫卡?最新的kafka主题脚本使用代理主机而不是ZooKeeper主机来描述主题
至于
错误WorkerSourceTask{id=wem-postgres-source-0}未能提交偏移量(org.apache.kafka.connect.runtime.SourceTaskOffsetCommitter)
确保卡夫卡连接的offset.storage.topic
已在卡夫卡中创建。工人们开始讨论这个话题
错误WorkerSourceTask{id=wem-postgres-source-0}刷新失败,在等待生产者刷新未完成的1消息时超时
及
[2020-01-30 09:51:52219]获取相关id为606994的元数据时出现警告[Producer clientId=Producer-8]错误:{topicname=UNKNOWN\u TOPIC\u或\u PARTITION}(org.apache.kafka.clients.NetworkClient)
他们来自同一个问题。您是否尝试访问卡夫卡群集或升级卡夫卡?最新的kafka主题脚本使用代理主机而不是ZooKeeper主机来描述主题
至于
错误WorkerSourceTask{id=wem-postgres-source-0}未能提交偏移量(org.apache.kafka.connect.runtime.SourceTaskOffsetCommitter)
确保卡夫卡连接的offset.storage.topic
已在卡夫卡中创建。工作人员将偏移量写入此主题。您能共享配置文件吗?当然可以,我可以看一看,您要找的是哪种配置?@Giorgosmyriantous忘了在上一条评论中标记您。谢谢你有网络问题。请显示您的服务器属性和连接器属性您可以共享配置文件吗?当然可以,我可以看一下,您要找的是哪种配置?@giorgosmyriantous在上一条评论中忘记标记您了。谢谢你有网络问题。请显示服务器属性和连接器属性