Apache zookeeper zookeeper事务日志变得非常大

Apache zookeeper zookeeper事务日志变得非常大,apache-zookeeper,transaction-log,Apache Zookeeper,Transaction Log,zookeeper事务日志变得非常大(数千兆字节!) 而且集群中的每台机器中总是有一个或最多两个事务日志文件,知道可能有多个快照。。引入autopurge.purgeInterval和autopurge.snapRetainCount有助于快照,但对事务日志没有任何影响,因为这些日志文件的数量始终小于snapRetainCount!。 有没有办法限制这些事务日志的大小?事务日志不应该被划分为多个文件而不是一个大文件吗。 注意:我使用的是zookeeper-3.4.6如果您使用的是Apache S

zookeeper事务日志变得非常大(数千兆字节!) 而且集群中的每台机器中总是有一个或最多两个事务日志文件,知道可能有多个快照。。引入autopurge.purgeInterval和autopurge.snapRetainCount有助于快照,但对事务日志没有任何影响,因为这些日志文件的数量始终小于snapRetainCount!。 有没有办法限制这些事务日志的大小?事务日志不应该被划分为多个文件而不是一个大文件吗。
注意:我使用的是zookeeper-3.4.6

如果您使用的是Apache Storm,那么您可以编写一个cron作业,在事务日志达到指定/限制大小时根据您的容量清除事务日志

我也曾处理过storm,当zookeeper进程过去主要因为txlog太大而失败时,我也遇到了一些问题

我写了一个cron作业,用来清除大型TXLOG


由于您将创建快照,您的拓扑将使用相同的配置回滚,并且在zookeeper重新启动时,将指派管理员

我将zookeeper与clickhouse群集一起使用。我也遇到了同样的问题:日志文件和快照文件非常大。我刚刚介绍了autopurge.PurgeiInterval和autopurge.snapRetainCount。希望它能起作用。我认为我们不能限制原木的大小。