Apache kafka 为什么kafka connect分布式模式总是只分配一个任务?
我已经部署了kafka connect elasticsearch Connect distributed正在运行confluent 3.1.2。 (它作为一个组进行操作,共有4台设备。)Apache kafka 为什么kafka connect分布式模式总是只分配一个任务?,apache-kafka,apache-kafka-connect,Apache Kafka,Apache Kafka Connect,我已经部署了kafka connect elasticsearch Connect distributed正在运行confluent 3.1.2。 (它作为一个组进行操作,共有4台设备。) 我已经给了任务。max=4,但我不知道为什么我只得到一个任务。分布式模式下的Kafka Connect将创建与(a)tasks.max和(b)要导出的分区总数相等的接收器任务 您试图导出到elasticsearch的主题/分区有多少?分布式模式下的Kafka Connect将创建与(a)tasks.max和(
我已经给了
任务。max=4
,但我不知道为什么我只得到一个任务。分布式模式下的Kafka Connect将创建与(a)tasks.max和(b)要导出的分区总数相等的接收器任务
您试图导出到elasticsearch的主题/分区有多少?分布式模式下的Kafka Connect将创建与(a)tasks.max和(b)要导出的分区总数相等的接收器任务
您正试图将多少个主题/分区导出到elasticsearch?代理中该主题的分区数是3,当我使用curl POST运行连接器elasticsearch时,我将tasks.max设置为4。(我还尝试了3。)当我将config.storage.topic作为控制台使用者查看时,会出现字符串{“tasks”:1}。当我运行连接器时,我将看到实现连接器接口的类的taskConfigs()方法的以下输出:[2018-05-03 11:16:59671]INFO设置1个workers.override def taskConfigs(maxstasks:Int)的任务配置:util.List[util.Map[String,String]={logger.INFO(“为{}个workers.设置任务配置”),maxstasks.toString(1到maxstasks)Map{{u=>props.get}代理中该主题的分区数为3,当我使用curl POST运行连接器elasticsearch时,我将tasks.max设置为4。(我还尝试了3。)当我将config.storage.topic作为控制台使用者查看时,会出现字符串{“tasks”:1}。当我运行连接器时,我将看到实现连接器接口的类的taskConfigs()方法的以下输出:[2018-05-03 11:16:59671]INFO设置1个worker.override def taskConfigs(maxstasks:Int)的任务配置:util.List[util.Map[String,String]={logger.INFO(“为{}个worker.设置任务配置”),maxstasks.toString(1到maxstasks)映射{{u=>props.get}我将“已开发”更改为“已部署”。。。不确定您做了哪些,但Confluent includes
kafka connect elasticsearch
我将“已开发”改为“已部署”。。。不确定您已经做了哪些,但Confluent包括kafka connect elasticsearch