Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Docker kafka connect有时会在突然重新启动节点时丢失插件配置_Docker_Apache Kafka_Apache Kafka Connect - Fatal编程技术网

Docker kafka connect有时会在突然重新启动节点时丢失插件配置

Docker kafka connect有时会在突然重新启动节点时丢失插件配置,docker,apache-kafka,apache-kafka-connect,Docker,Apache Kafka,Apache Kafka Connect,这是我们用来托管docker connect和插件的docker映像 FROM confluentinc/cp-kafka-connect:5.3.1 ENV CONNECT_PLUGIN_PATH=/usr/share/java # JDBC-MariaDB RUN wget -nv -P /usr/share/java/kafka-connect-jdbc/ https://downloads.mariadb.com/Connectors/java/connector-java-2.4.

这是我们用来托管docker connect和插件的docker映像

FROM confluentinc/cp-kafka-connect:5.3.1

ENV CONNECT_PLUGIN_PATH=/usr/share/java

# JDBC-MariaDB
RUN wget -nv -P /usr/share/java/kafka-connect-jdbc/ https://downloads.mariadb.com/Connectors/java/connector-java-2.4.4/mariadb-java-client-2.4.4.jar

# SNMP Source
RUN wget -nv -P /tmp/ https://github.com/name/kafka-connect-snmp/releases/download/0.0.1.11/kafka-connect-snmp-0.0.1.11.tar.gz
RUN mkdir /tmp/kafka-connect-snmp && tar -xf /tmp/kafka-connect-snmp-0.0.1.11.tar.gz -C /tmp/kafka-connect-snmp/
RUN mv /tmp/kafka-connect-snmp/usr/share/kafka-connect/kafka-connect-snmp /usr/share/java/

现在由于某种原因,当节点突然重启或关闭时,插件配置将丢失,并且无法找到任何插件

有人能指出哪里可能有问题,或者采取什么步骤来验证出了什么问题吗


PS:由于一些严格的政策,我无法获得任何类型的日志

你的卡夫卡经纪人托管在哪里?Docker上也有吗?是的,但在此设置中,kafka connect位于几英里以外的客户场所,并通过vpn隧道连接到kafka broker。您是否看到kafka connect用于持久化配置的主题由kafka connect填充?每次启动时是否都使用相同的group.id?因此它始终具有相同的组id,并且没有丢失主题(但对此不确定,因为开发人员没有彻底检查)“”_(ツ)_/''如果您没有日志,并且您不确定开发人员是否检查了,那么在这里很难提供帮助。分布式模式下的卡夫卡连接使用卡夫卡来保存其数据。如果数据丢失,那么您的卡夫卡就有问题了。如果没有卡夫卡连接或卡夫卡的任何日志,就没有更多的话要说了。