Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/asp.net/34.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache kafka 卡夫卡流:消费者提交频率_Apache Kafka_Apache Kafka Streams - Fatal编程技术网

Apache kafka 卡夫卡流:消费者提交频率

Apache kafka 卡夫卡流:消费者提交频率,apache-kafka,apache-kafka-streams,Apache Kafka,Apache Kafka Streams,至少有一次保证,我理解在故障情况下有可能重复。然而, 1) Kafka流库执行提交的频率有多高? 2)用户除了上述之外是否还需要考虑提交? 3) 是否有关于提交执行频率的最佳实践? Kafka Streams定期提交,可通过参数commit.interval.ms配置(默认值为30秒;如果恰好启用一次处理,默认值为100ms) 通常,用户不需要手动提交。注意,用户不能完全控制提交,只能请求提交:cf 提交是同步点,如果提交过于频繁(例如在每次处理记录之后),吞吐量可能会显著下降。它还高度依赖

至少有一次保证,我理解在故障情况下有可能重复。然而,
1) Kafka流库执行提交的频率有多高?
2)用户除了上述之外是否还需要考虑提交?
3) 是否有关于提交执行频率的最佳实践?

Kafka Streams定期提交,可通过参数
commit.interval.ms
配置(默认值为30秒;如果恰好启用一次处理,默认值为100ms)

通常,用户不需要手动提交。注意,用户不能完全控制提交,只能请求提交:cf

提交是同步点,如果提交过于频繁(例如在每次处理记录之后),吞吐量可能会显著下降。它还高度依赖于应用程序,因为提交频率决定了应用程序进程可能重复的数量(这也取决于输入数据速率)。因此,你需要考虑在你愿意容忍的失败的情况下有多少重复。这还取决于应用程序重新处理数据所需的时间:在此期间,应用程序可能无法完全可用。总的来说,很难给出一个建议,你需要单独考虑每个应用程序所描述的权衡。