Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache kafka 如何配置Kafka代理拒绝生产者而不是消费者?_Apache Kafka - Fatal编程技术网

Apache kafka 如何配置Kafka代理拒绝生产者而不是消费者?

Apache kafka 如何配置Kafka代理拒绝生产者而不是消费者?,apache-kafka,Apache Kafka,我有一个由3个经纪商组成的集群,它们已经运行了很长时间。我想把它们排干,这样就不会有新的消息被接受,但消费者可以阅读消息 我们的目标是最终在经纪人中没有未消费的东西,这样我就可以替换他们。我的生产商有足够的弹性来处理一段时间内无法生产本地缓存、回退系统等的问题。。我的滞后比较小,所以应该很快 我搜索了各种配置,但没有找到一种方法来阻止生产者,而不是消费者 不管怎样,我尝试了添加新的代理,然后重新分配分区。即使是小主题,也需要几个小时。在我看来,使用推荐的方法应该足够了。当然,您可以尝试防火墙生产

我有一个由3个经纪商组成的集群,它们已经运行了很长时间。我想把它们排干,这样就不会有新的消息被接受,但消费者可以阅读消息

我们的目标是最终在经纪人中没有未消费的东西,这样我就可以替换他们。我的生产商有足够的弹性来处理一段时间内无法生产本地缓存、回退系统等的问题。。我的滞后比较小,所以应该很快

我搜索了各种配置,但没有找到一种方法来阻止生产者,而不是消费者


不管怎样,我尝试了添加新的代理,然后重新分配分区。即使是小主题,也需要几个小时。

在我看来,使用推荐的方法应该足够了。当然,您可以尝试防火墙生产者,或者在集群上添加ACL并禁用它,但在我看来,这是一种开销,在这种情况下是不合适的。 至少我从来没有遇到过问题

如果有大量数据,重新分配确实需要相当长的时间,但考虑到你的话,你有一个相当小的滞后,我建议如下:


为确保延迟始终接近于零,请减少每个主题的topics retention.ms保留时间或全局log.retention.hours保留时间(此处仅限重新启动),将所有分区移动到如上所述的新群集,然后返回保留时间。

谢谢@andrey。我们一直在沿着这条路走,而这条路几乎永远走不到尽头。我们可以将其更改为先添加副本,然后删除旧副本,但我无法想象这会有多大帮助。我确实喜欢你先减少保留率的想法。如果我们不能快点。我们应该这样做。在集群上添加ACL-我如何只禁止生产者?如果我有一个消费者/生产者模式,其中一个进程读取一个主题,转换消息,并生成另一个。每个消费者也可能是生产者。或