Apache kafka 节点Kafka-出现重复消息

我在使用消费者组消费卡夫卡消息时收到重复消息

我正在使用这个Nodejs库。

我的消费者代码如下

const config = require( '../../configs' );
const kafka = require( 'kafka-node' );

var options = {
    id: 'consumer1',
    kafkaHost: config.kafka.prod.kafka_host, //multiple kafka hosts (comma separated)
    groupId: "test-group2",
    sessionTimeout: 15000,
    protocol: ['roundrobin'],
    fromOffset: 'earliest'
};

var consumerGroup = new kafka.ConsumerGroup( options, 'my-replicated-topic3' );

consumerGroup.on( 'message', function ( message ) {
    console.log( message );
} );

我的成绩不如预期

{ topic: 'my-replicated-topic3',
  value: '{"meta":{"topic":"my-replicated-topic3","added_at":"2019-02-22T09:25:54.708Z","server":"cron"},"data":"1550827554708 ::: Totam quis qui. Sit dolore laboriosam odio. Facilis porro et quam repellat pariatur. Ad voluptatem quidem."}',
  offset: 8941,
  partition: 0,
  highWaterOffset: 8966,
  key: null }
  ---
  ---
  ---
  ---
  { topic: 'my-replicated-topic3',
  value: '{"meta":{"topic":"my-replicated-topic3","added_at":"2019-02-22T09:25:54.708Z","server":"cron"},"data":"1550827554708 ::: Totam quis qui. Sit dolore laboriosam odio. Facilis porro et quam repellat pariatur. Ad voluptatem quidem."}',
  offset: 8941,
  partition: 0,
  highWaterOffset: 8970,
  key: null }

您可以看到，每隔几条记录之后，就会重复相同的消息。此处消息的偏移量相同，但所有重复消息的高位偏移量不同

---

请建议解决此问题的方法。

您是否重新实例化了您的消费者？您的消费者如何提交其补偿

默认情况下，消费者每5秒自动提交其偏移量。你的图书馆就是这样

---

如果在提交偏移量之前重新实例化消费者，它将从上次提交的偏移量重新启动。

您好，我既不重置也不提交偏移量，上面发布的代码是使用数据的完整代码。我开始通过在终端中运行代码来消耗数据，我可以立即看到重复的问题。