Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java 卡夫卡消费者不会收到;“一些”;信息的来源_Java_Apache Kafka - Fatal编程技术网

Java 卡夫卡消费者不会收到;“一些”;信息的来源

Java 卡夫卡消费者不会收到;“一些”;信息的来源,java,apache-kafka,Java,Apache Kafka,我正在使用生产者和消费者的API为ApacheKafka运行一个简单的设置 为了模拟重载,我 运行生产者的多个实例(例如2) 所有这些邮件都发送相同的邮件(邮件内容为“不在乎”) 多次(每个主题1000次) 大量的话题(比如5个) 我运行一个消费者来读取所有主题的消息,并记录处理的消息数量 我希望在消费者端获得(2 x 5 x 1000)=10000条消息 但收到的消息数量低于预期 对于较小的消息集(例如,每个主题发送50条消息),这种行为不存在。所以我知道我的设置不可能有问题 这里是否缺少

我正在使用生产者和消费者的API为ApacheKafka运行一个简单的设置

为了模拟重载,我

  • 运行生产者的多个实例(例如2)
  • 所有这些邮件都发送相同的邮件(邮件内容为“不在乎”)
  • 多次(每个主题1000次)
  • 大量的话题(比如5个)
我运行一个消费者来读取所有主题的消息,并记录处理的消息数量

我希望在消费者端获得(2 x 5 x 1000)=10000条消息

但收到的消息数量低于预期

对于较小的消息集(例如,每个主题发送50条消息),这种行为不存在。所以我知道我的设置不可能有问题

这里是否缺少一些配置?或者,卡夫卡没有收到来自生产者实例的一些消息,API也没有通知我


仅供参考:这是运行在一个单一的虚拟机托管在我的个人电脑。卡夫卡和动物园管理员都在同一台机器上。到目前为止,我对设置的性能并不感兴趣。如果某些消息丢失,性能指标无效。

是否按顺序处理消息?或者,您是否已保护您的邮件计数器,使其不会在您的使用者中并行执行?您是否已检查是否所有邮件都是针对该主题生成的?您可以使用
GetOffsetShell
工具进行验证:。您是否可以先使用kafka提供的命令行使用者进行验证,然后看看您是否仍然存在相同的问题?@alirabiee:消息是按顺序处理的。消费者端没有线程。@vahid:我已经使用了这个工具,消息正在到达服务器。所有主题都已发送完整数量的邮件。是否按顺序处理邮件?或者,您是否已保护您的邮件计数器,使其不会在您的使用者中并行执行?您是否已检查是否所有邮件都是针对该主题生成的?您可以使用
GetOffsetShell
工具进行验证:。您是否可以先使用kafka提供的命令行使用者进行验证,然后看看您是否仍然存在相同的问题?@alirabiee:消息是按顺序处理的。消费者端没有线程。@vahid:我已经使用了这个工具,消息正在到达服务器。所有主题都已发送完整数量的消息。