Java Kafka Connect将SQL JAR文件添加到类路径

Java Kafka Connect将SQL JAR文件添加到类路径,java,apache-kafka,apache-kafka-connect,Java,Apache Kafka,Apache Kafka Connect,我正试图从mssql服务器部署连接独立作业到流,但我面临的问题是Kafka connect是我的Ambari部署的一部分,而不是docker。这是我正在使用的属性文件: name=JdbcSourceConnector connector.class=io.confluent.connect.jdbc.JdbcSourceConnector connection.user=ue connection.password=pw tasks.max=1 connection.url=jdbc:sqls

我正试图从mssql服务器部署连接独立作业到流,但我面临的问题是Kafka connect是我的Ambari部署的一部分,而不是docker。这是我正在使用的属性文件:

name=JdbcSourceConnector
connector.class=io.confluent.connect.jdbc.JdbcSourceConnector
connection.user=ue
connection.password=pw
tasks.max=1
connection.url=jdbc:sqlserver://servername
topic.prefix=iblog
query=SELECT * FROM IB_WEBLOG_DUMMY_small
value.converter=org.apache.kafka.connect.json.JsonConverter
key.converter=org.apache.kafka.connect.json.JsonConverter
poll.interval.ms=5000
table.poll.interval.ms=120000
mode=incrementing
incrementing.column.name=ID
我已经将jar文件sqljdbc42.jar添加到/usr/share/java 并已运行export CLASSPATH=/usr/share/java/*

但是,我仍然遇到错误,未能找到任何实现连接器的类,以及名称与io.confluent.connect.jdbc.JdbcSourceConnector匹配的类

我是否做错了什么,或者是否可以检查其他内容?

您需要包含kafka connect jdbc jar文件,该文件包含io.confluent.connect.jdbc.JdbcSourceConnector类

如果您使用的是maven,则可以将其添加为依赖项:

<dependency>
    <groupId>io.confluent</groupId>
    <artifactId>kafka-connect-jdbc</artifactId>  
    <version>3.3.0 (or whatever version you want)</version>
</dependency>
[如果您尚未将以下回购协议添加到您的项目中。]

<repository>
  <id>confluent</id>
  <url>http://packages.confluent.io/maven/</url>
</repository>
在此之后,添加以下依赖项:

<dependency>
    <groupId>io.confluent</groupId>
    <artifactId>kafka-connect-jdbc</artifactId>  
    <version>3.3.0 (or whatever version you want)</version>
</dependency>
您需要包含kafka connect jdbc jar文件,该文件包含io.confluent.connect.jdbc.JdbcSourceConnector类

如果您使用的是maven,则可以将其添加为依赖项:

<dependency>
    <groupId>io.confluent</groupId>
    <artifactId>kafka-connect-jdbc</artifactId>  
    <version>3.3.0 (or whatever version you want)</version>
</dependency>
[如果您尚未将以下回购协议添加到您的项目中。]

<repository>
  <id>confluent</id>
  <url>http://packages.confluent.io/maven/</url>
</repository>
在此之后,添加以下依赖项:

<dependency>
    <groupId>io.confluent</groupId>
    <artifactId>kafka-connect-jdbc</artifactId>  
    <version>3.3.0 (or whatever version you want)</version>
</dependency>
卡夫卡连接是我的Ambari部署的一部分

这意味着您正在使用Hortonworks安装

你需要

git克隆https://github.com/confluentinc/kafka-connect-jdbc/ 签出与您的卡夫卡版本理想匹配的发布分支。例如,分支v3.1.2是 mvn clean package将在该项目的target/中生成一些文件夹 将这些文件SCP到集群中的所有Kafka Connect worker中/usr/hdp/current/Kafka/../share/java/Kafka Connect jdbc创建此文件(如果不存在) 重新启动Kafka进程以获取新的类路径设置 您可能需要JDBCConnect所依赖的一些额外的汇合包

卡夫卡连接是我的Ambari部署的一部分

这意味着您正在使用Hortonworks安装

你需要

git克隆https://github.com/confluentinc/kafka-connect-jdbc/ 签出与您的卡夫卡版本理想匹配的发布分支。例如,分支v3.1.2是 mvn clean package将在该项目的target/中生成一些文件夹 将这些文件SCP到集群中的所有Kafka Connect worker中/usr/hdp/current/Kafka/../share/java/Kafka Connect jdbc创建此文件(如果不存在) 重新启动Kafka进程以获取新的类路径设置
您可能需要JDBC connect所依赖的一些额外的Confluent包

我遇到了相同的问题,我通过在Confluent的根文件夹中运行connect standalone解决了它,在我的例子中,这是:/opt/Confluent-5.0.1

我遇到了相同的问题,我通过在Confluent的根文件夹中运行connect standalone解决了它,在我的例子中,这是:/opt/confluent-5.0.1

我也有同样的问题。找不到带Couchbase连接器的

连接器错误org.apache.kafka.connect.cli.ConnectStandalone:113 java.util.concurrent.ExecutionException:org.apache.kafka.connect.errors.ConnectException:未能找到实现连接器且名称与com.couchbase.connect.kafka.CouchbaseSourceConnector匹配的任何类

设置类路径正在丢失现有的类路径,我无法附加为类路径 我将所需的jar文件从kafka connect couchase/*.jar文件移动到/path/kafka_verison/libs/
libs是存储所有jar文件的文件夹

我也有同样的问题。找不到带Couchbase连接器的

连接器错误org.apache.kafka.connect.cli.ConnectStandalone:113 java.util.concurrent.ExecutionException:org.apache.kafka.connect.errors.ConnectException:未能找到实现连接器且名称与com.couchbase.connect.kafka.CouchbaseSourceConnector匹配的任何类

设置类路径正在丢失现有的类路径,我无法附加为类路径 我将所需的jar文件从kafka connect couchase/*.jar文件移动到/path/kafka_verison/libs/
libs是存储所有jar文件的文件夹

所以我只需要使用intellij,将它们添加到pom.xml中,然后将jar部署到usr/share/java?您引用的是如何构建项目,而不是如何部署它。换句话说,没有其他项目可以添加依赖项,所以我只需要使用intellij,将它们添加到pom.xml中,然后将jar部署到usr/share/java?您引用的是如何构建项目,而不是如何部署它。换句话说,没有其他项目可以添加依赖项