Apache kafka 卡夫卡连接和卡夫卡主机要求

我正在使用Couchbase接收器连接器。CB和卡夫卡在两个不同的EC2实例中，在不同的AWS地区。我将遵循以下文件：

基于这些，我推断connect必须在安装了kafka的主机上运行。我的connect是否可以在远程主机上运行，以便我从远程kafka读取消息并将消息接收到远程CB bucket中？是否有与此相关的文档

此外，我还遇到以下错误：

        at org.apache.kafka.connect.util.ConvertingFutureCallback.result(ConvertingFutureCallback.java:79)
    at org.apache.kafka.connect.util.ConvertingFutureCallback.get(ConvertingFutureCallback.java:66)
    at org.apache.kafka.connect.cli.ConnectStandalone.main(ConnectStandalone.java:118)
Caused by: org.apache.kafka.connect.errors.ConnectException: Failed to find any class that implements Connector and which name matches com.couchbase.connect.kafka.CouchbaseSinkConnector, available connectors are: PluginDesc{klass=class org.apache.kafka.connect.file.FileStreamSinkConnector, name='org.apache.kafka.connect.file.FileStreamSinkConnector', version='2.3.0', encodedVersion=2.3.0, type=sink, typeName='sink', location='classpath'}, PluginDesc{klass=class org.apache.kafka.connect.file.FileStreamSourceConnector, name='org.apache.kafka.connect.file.FileStreamSourceConnector', version='2.3.0', encodedVersion=2.3.0, type=source, typeName='source', location='classpath'}, PluginDesc{klass=class org.apache.kafka.connect.tools.MockConnector, name='org.apache.kafka.connect.tools.MockConnector', version='2.3.0', encodedVersion=2.3.0, type=connector, typeName='connector', location='classpath'}, PluginDesc{klass=class org.apache.kafka.connect.tools.MockSinkConnector, name='org.apache.kafka.connect.tools.MockSinkConnector', version='2.3.0', encodedVersion=2.3.0, type=sink, typeName='sink', location='classpath'}, PluginDesc{klass=class org.apache.kafka.connect.tools.MockSourceConnector, name='org.apache.kafka.connect.tools.MockSourceConnector', version='2.3.0', encodedVersion=2.3.0, type=source, typeName='source', location='classpath'}, PluginDesc{klass=class org.apache.kafka.connect.tools.SchemaSourceConnector, name='org.apache.kafka.connect.tools.SchemaSourceConnector', version='2.3.0', encodedVersion=2.3.0, type=source, typeName='source', location='classpath'}, PluginDesc{klass=class org.apache.kafka.connect.tools.VerifiableSinkConnector, name='org.apache.kafka.connect.tools.VerifiableSinkConnector', version='2.3.0', encodedVersion=2.3.0, type=source, typeName='source', location='classpath'}, PluginDesc{klass=class org.apache.kafka.connect.tools.VerifiableSourceConnector, name='org.apache.kafka.connect.tools.VerifiableSourceConnector', version='2.3.0', encodedVersion=2.3.0, type=source, typeName='source', location='classpath'}
    at org.apache.kafka.connect.runtime.isolation.Plugins.connectorClass(Plugins.java:180)
    at org.apache.kafka.connect.runtime.isolation.Plugins.newConnector(Plugins.java:152)
    at org.apache.kafka.connect.runtime.AbstractHerder.getConnector(AbstractHerder.java:519)
    at org.apache.kafka.connect.runtime.AbstractHerder.validateConnectorConfig(AbstractHerder.java:289)
    at org.apache.kafka.connect.runtime.standalone.StandaloneHerder.putConnectorConfig(StandaloneHerder.java:192)
    at org.apache.kafka.connect.cli.ConnectStandalone.main(ConnectStandalone.java:115)

我推测connect必须在安装了kafka的主机上运行

有卡夫卡库，是的，但没有实际运行的代理，不是

换句话说，您无法将Kafka Connect作为独立服务下载，因此，当您获得它时，它已经随Kafka库一起提供

我的connect是否可以在远程主机上运行，以便我从远程kafka读取消息并将消息接收到远程CB bucket中

这是建议的部署。类似于你不会在经纪人身上运行正常的生产者和消费者。卡夫卡连接应该被视为没有什么不同

引导服务器和couchbase连接字符串将是它们各自的远程地址

医生在这里

此外，我还收到以下错误：

未能找到任何实现连接器的类，以及名称与com.couchbase.connect.kafka.couchbaseskingconnector匹配的类

如果查看可用连接器的列表：，您会发现您的连接器未列出。这意味着您没有在库中正确加载连接器属性的

plugin.path

正如Couchbase文档所述：

修改

plugin.path

属性以包含

kafka connect couchbase-.jar的父目录

您还可以使用
/connector plugins
端点在发布配置之前验证连接器是否已加载

我推测connect必须在安装了kafka的主机上运行

有卡夫卡库，是的，但没有实际运行的代理，不是

换句话说，您无法将Kafka Connect作为独立服务下载，因此，当您获得它时，它已经随Kafka库一起提供

我的connect是否可以在远程主机上运行，以便我从远程kafka读取消息并将消息接收到远程CB bucket中

这是建议的部署。类似于你不会在经纪人身上运行正常的生产者和消费者。卡夫卡连接应该被视为没有什么不同

引导服务器和couchbase连接字符串将是它们各自的远程地址

医生在这里





此外，我还收到以下错误：
未能找到任何实现连接器的类，以及名称与com.couchbase.connect.kafka.couchbaseskingconnector匹配的类

如果查看可用连接器的列表：

，您会发现您的连接器未列出。这意味着您没有在库中正确加载连接器属性的

plugin.path

正如Couchbase文档所述：

修改

plugin.path

属性以包含

kafka connect couchbase-.jar的父目录

在发布配置之前，您还可以使用
/connector plugins
endpoint
验证您的连接器是否已加载。Kafka Connect无法找到您的连接器。您可以将plugin.path设置为指向连接器jar文件，也可以将连接器jar文件复制到kafka lib目录。
kafka Connect无法找到您的连接器。您可以将plugin.path设置为指向连接器jar文件，也可以将连接器jar文件复制到kafka lib目录。
Apache kafka Connect可以在不同的主机上运行，甚至是首选设置Apache kafka Connect可以在不同的主机上运行，甚至是首选设置