Apache kafka Kafka 2.0-KafkaConnect连接器中有多个Kerberos主体

我们目前正在使用HDF（Hortonworks数据流）3.3.1，它捆绑了Kafka 2.0.0。问题在于在同一KafkaConnect群集上运行多个具有不同配置（Kerberos主体）的连接器

作为此Kafka版本的一部分，所有连接器都应使用相同的使用者/生产者属性，这些属性已在工作者配置中以使用者*或生产者*前缀设置。但正如我所说的，我们有多个用户（应用程序）运行他们自己的连接器，我们不能使用一个Kerberos主体来允许读取所有主题

所以我只是想和专家们核实一下，是否有任何方法可以克服这种安全限制。我能想到的选项是-为每个Kafka用户（不同的主体）运行不同的Kafka Connect群集，但是如果我们在相同的节点上运行多个Kafka Connect群集，会有什么影响？它是否会对资源（Java堆等）造成任何影响，或者这是处理此问题的唯一方法（标准过程）

PS：在以后的版本（2.3+）中，这个问题通过修复，这些设置可以被覆盖，但即使我们尝试升级到最新的HDF，我们也只能得到卡夫卡2.1，它不能解决这个问题

---

谢谢你的帮助

我认为升级是获得链接功能的最佳选择。正如我所评论的，你可以自己去获取最新的卡夫卡版本。。。Hortonworks/Cloudera无论如何都不支持Connect。他们宁愿你使用Spark/Flink/NiFi（我想风暴已经不存在了？）

如果我们在同一个节点上运行多个KafkanConnect集群，会有什么影响？它会对资源（Java堆等）造成任何影响吗

堆是主要的（用于批处理、接收器连接器）。网络和CPU负载也可以考虑在内，这取决于消息的速率

---

只要每个群集进程的播发端口不冲突，您就应该能够使用相同的组ID和内部主题，不过

您可以从HDF外部安装Kafka Connect。。。版本不需要匹配，谢谢这有帮助。我试试看。同意它无论如何都不被支持。谢谢板球。Nifi对我们没有帮助，我们在所有批处理流中使用Nifi，即使在我们进行微批处理时使用Kafka，但在这种情况下，我们必须将一条Kafka消息作为一条目标平台消息（GCP PubSub）传递给我们，当我们尝试在Nifi中执行此操作时，它会因1亿个流文件而减慢速度。因为这是一种可以接受的模式，只运行miltipe Kafkanconnect集群以获得安全性首选项。我想不出其他的选择。谢谢，这就像一个配置问题。Kafka Connect和Nifi在某些时候必须使用相同的Java库和方法是的，Kafka Consumer wise两者都使用相同的方法，当流文件传递到Nifi中的目标处理器时，问题就开始了。连接工作得更好。可能在Nifi中，由于数百万流文件，源操作需要更多时间。它不会超过每秒几千个文件。同意使用相同的库来源和接收数据