Java 卡夫卡消费者不会收到;“一些”;信息的来源
我正在使用生产者和消费者的API为ApacheKafka运行一个简单的设置 为了模拟重载,我Java 卡夫卡消费者不会收到;“一些”;信息的来源,java,apache-kafka,Java,Apache Kafka,我正在使用生产者和消费者的API为ApacheKafka运行一个简单的设置 为了模拟重载,我 运行生产者的多个实例(例如2) 所有这些邮件都发送相同的邮件(邮件内容为“不在乎”) 多次(每个主题1000次) 大量的话题(比如5个) 我运行一个消费者来读取所有主题的消息,并记录处理的消息数量 我希望在消费者端获得(2 x 5 x 1000)=10000条消息 但收到的消息数量低于预期 对于较小的消息集(例如,每个主题发送50条消息),这种行为不存在。所以我知道我的设置不可能有问题 这里是否缺少
- 运行生产者的多个实例(例如2)
- 所有这些邮件都发送相同的邮件(邮件内容为“不在乎”)
- 多次(每个主题1000次)
- 大量的话题(比如5个)
仅供参考:这是运行在一个单一的虚拟机托管在我的个人电脑。卡夫卡和动物园管理员都在同一台机器上。到目前为止,我对设置的性能并不感兴趣。如果某些消息丢失,性能指标无效。是否按顺序处理消息?或者,您是否已保护您的邮件计数器,使其不会在您的使用者中并行执行?您是否已检查是否所有邮件都是针对该主题生成的?您可以使用
GetOffsetShell
工具进行验证:。您是否可以先使用kafka提供的命令行使用者进行验证,然后看看您是否仍然存在相同的问题?@alirabiee:消息是按顺序处理的。消费者端没有线程。@vahid:我已经使用了这个工具,消息正在到达服务器。所有主题都已发送完整数量的邮件。是否按顺序处理邮件?或者,您是否已保护您的邮件计数器,使其不会在您的使用者中并行执行?您是否已检查是否所有邮件都是针对该主题生成的?您可以使用GetOffsetShell
工具进行验证:。您是否可以先使用kafka提供的命令行使用者进行验证,然后看看您是否仍然存在相同的问题?@alirabiee:消息是按顺序处理的。消费者端没有线程。@vahid:我已经使用了这个工具,消息正在到达服务器。所有主题都已发送完整数量的消息。