Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache zookeeper 每秒有多少卡夫卡提交_Apache Zookeeper_Apache Kafka - Fatal编程技术网

Apache zookeeper 每秒有多少卡夫卡提交

Apache zookeeper 每秒有多少卡夫卡提交,apache-zookeeper,apache-kafka,Apache Zookeeper,Apache Kafka,我已经读到,您不应该过于频繁地向Kafka高级使用者提交偏移量,因为每次提交都是对Zookeeper的写入,因此您可以减慢Zookeeper的速度,因为它在整个仲裁中具有很强的一致性 我的问题是,什么被认为是给动物园管理员写了很多信?我每秒发送10条消息,如果我能在每条消息之后提交,我的系统会变得更好,但这是不是太多了?我真的不知道。理想情况下,在开始测试我们的满载kafka群集之前,我需要一些想法。如果您查看此图,您可以看到,他们的示例设置(3倍双2Ghz Xeon和两个SATA 15K RP

我已经读到,您不应该过于频繁地向Kafka高级使用者提交偏移量,因为每次提交都是对Zookeeper的写入,因此您可以减慢Zookeeper的速度,因为它在整个仲裁中具有很强的一致性


我的问题是,什么被认为是给动物园管理员写了很多信?我每秒发送10条消息,如果我能在每条消息之后提交,我的系统会变得更好,但这是不是太多了?我真的不知道。理想情况下,在开始测试我们的满载kafka群集之前,我需要一些想法。

如果您查看此图,您可以看到,他们的示例设置(3倍双2Ghz Xeon和两个SATA 15K RPM驱动器)可以处理约80000次写入(如果您只有写入)

资料来源: