Apache kafka 如何在纱线中运行卡夫卡连接工人？

我在和你玩。我的

HDFS连接器

可以在和中工作

他们认为工人（负责运行连接器）可以通过

warn

进行管理，但是，我还没有看到任何说明如何实现这一目标的文档

如何让

纱线

执行工人？如果没有具体的方法，是否有关于如何让应用程序在

纱线中运行的通用操作指南

我使用了
纱线
和SPARK，使用
SPARK submit
但是，我不知道如何让连接器在
纱线
中运行，理论上你可以在纱线上运行任何东西，即使是一个简单的hello world程序。这就是为什么说卡夫卡连接在纱线上运行在技术上是正确的。需要注意的是，要让卡夫卡连接在纱线上运行，目前需要相当多的肘部润滑脂。有两种方法可以做到这一点：

直接与Thread API对话以获取容器，部署Kafka Connect二进制文件并启动Kafka Connect
使用Stephane在评论中已经提到的单独滑块项目
滑块
您必须阅读大量文档才能使其正常工作，但Slider背后的理念是，您可以让任何程序在Thread上运行，而无需处理Thread API并通过执行以下操作编写Thread应用程序主控程序：


从程序中创建一个滑块包
为您的包定义一个配置
使用slider cli将应用程序部署到

Slider为您处理容器部署和失败容器的恢复，这很好。当纱线3.0发布时，滑块也成为纱线的固有部分

选择
另外，让Kafka Connect部署在Kubernetes或Mesos/Marathon上可能会更容易。基本的工作流程是：


创建Kafka Connect docker容器或仅使用confluent的
为Kubernetes或Marathon创建部署配置
单击按钮/运行命令

教程

可以找到一个很好的Mesos/马拉松教程
库伯内特斯教程
合流Kubernetes舵图
你能把
package.json
放在你的帖子里吗？也许它有脚本？还有你的
纱线.锁
我不确定你会找到很多关于这个的信息。在不断变化的大数据技术中，纱线不再那么流行，许多公司宁愿投资于Mesos调度。无论如何，对于《卡夫卡连接纱线》，我可能会尝试@StephaneMartin，我已经从这个项目中搬出来了，但感谢这篇文章，我会尝试去看看……如果我这样做了，我会把我的发现发布在这里……相关文章：注：纱线3.0还支持Docker容器，Slider已经被核心纱线项目使用了。