Apache kafka 如何将RESTAPI源连接器与Kafka Connect集成?

Apache kafka 如何将RESTAPI源连接器与Kafka Connect集成?,apache-kafka,apache-kafka-connect,Apache Kafka,Apache Kafka Connect,我在本地机器上安装了Confluent 5.0,并尝试使用Rest API源连接从Rest API读取数据,该连接不是Confluent的一部分。到目前为止,我只使用了汇合内置连接器。RESTAPI源代码连接是开源的,可在github上使用 我从github下载了这个连接器,并被卡在了这里 有谁能告诉我将此连接器与confluent集成的过程,或者我如何使用它从Rest API提取数据?免责声明:添加外部Kafka Connect插件没有单一答案;Confluent提供了Kafka Connec

我在本地机器上安装了Confluent 5.0,并尝试使用Rest API源连接从Rest API读取数据,该连接不是Confluent的一部分。到目前为止,我只使用了汇合内置连接器。RESTAPI源代码连接是开源的,可在github上使用

我从github下载了这个连接器,并被卡在了这里

有谁能告诉我将此连接器与confluent集成的过程,或者我如何使用它从Rest API提取数据?

免责声明:添加外部Kafka Connect插件没有单一答案;Confluent提供了Kafka Connect Maven插件,但这并不意味着人们使用它甚至Maven来打包代码

如果它不在汇合枢纽上,那么你必须手工建造它


1) 克隆repo并构建它(首先安装Git和Maven)

2) 在所有Connect Worker上为其创建一个目录,类似于Confluent Platform的其他连接器

mkdir $CONFLUENT_HOME/share/java/kafka-connect-rest
3) 找到每个带阴影的罐子(这个连接器碰巧制造了多个罐子,我不知道为什么…)

4) 将这些文件复制到步骤2中为每个connect worker创建的
$CONFLUENT_HOME/share/java/kafka connect rest
文件夹中

5) 确保
connect-*.properties
文件的
plugin.path
指向
$CONFLUENT\u HOME/share/java

在这一点上,你已经做到了,只是没有在Docker

6) 启动连接(分布式)

7) 点击
GET/connector plugins
验证加载的东西

8) 配置JSON负载并将其发送到
POST/connectors


我以前没有使用过这个连接器,所以我不知道如何配置它。在KSQL内容之前,可能会看到或跟随

你能澄清一下“卡住了”吗?这与在cricket_007上说“它不起作用了”差不多。除了GET/Connector插件,我已经完成了这部分。因为我遵循了相同的指令,所以卡住了(无法运行)GET/Connector插件或POST/Connectors命令。在合流hiting上。/bin/connect standalone GET/connector插件出错,如
java.io.FileNotFoundException:GET(没有这样的文件或目录)
您不应该从CLI运行,而是从POSTMAN运行,因为它是一个REST API,我提到要启动
connect distributed
,而不是
connect standalone
mkdir $CONFLUENT_HOME/share/java/kafka-connect-rest
find . -iname "*shaded.jar" -type f

./kafka-connect-transform-from-json/kafka-connect-transform-from-json-plugin/target/kafka-connect-transform-from-json-plugin-1.0-SNAPSHOT-shaded.jar
./kafka-connect-transform-add-headers/target/kafka-connect-transform-add-headers-1.0-SNAPSHOT-shaded.jar
./kafka-connect-transform-velocity-eval/target/kafka-connect-transform-velocity-eval-1.0-SNAPSHOT-shaded.jar
./kafka-connect-rest-plugin/target/kafka-connect-rest-plugin-1.0-SNAPSHOT-shaded.jar