Apache zookeeper zookeeper datadir中有什么以及如何清理?

Apache zookeeper zookeeper datadir中有什么以及如何清理?,apache-zookeeper,Apache Zookeeper,我发现我的动物园管理员dataDir很大。我想了解 数据目录中有什么? 如何清理?它会在一定时间后自动清理吗? 感谢根据: ZooKeeper数据目录包含文件,这些文件是由特定服务集合存储的zNode的永久副本。这些是快照和事务日志文件。在对znode进行更改时,这些更改会附加到事务日志中,有时,当日志变大时,所有znode当前状态的快照会写入文件系统。此快照将取代以前的所有日志 简而言之,对于第一个问题,您可以假设dataDir用于存储Zookeeper的状态 至于你的第二个问题,没有自动清理

我发现我的动物园管理员dataDir很大。我想了解

数据目录中有什么? 如何清理?它会在一定时间后自动清理吗? 感谢

根据:

ZooKeeper数据目录包含文件,这些文件是由特定服务集合存储的zNode的永久副本。这些是快照和事务日志文件。在对znode进行更改时,这些更改会附加到事务日志中,有时,当日志变大时,所有znode当前状态的快照会写入文件系统。此快照将取代以前的所有日志

简而言之,对于第一个问题,您可以假设dataDir用于存储Zookeeper的状态

至于你的第二个问题,没有自动清理。从文档:

ZooKeeper服务器不会删除旧快照和日志文件,这是操作员的责任。每个服务环境都是不同的,因此管理这些文件的要求可能因安装到安装的备份而异

PurgeTxnLog实用工具实现了管理员可以使用的简单保留策略。API文档包含有关调用约定、参数等的详细信息

在以下示例中,将保留上次计数快照及其相应的日志,并删除其他快照。的值通常应大于3(虽然不是必需的),但在最近的日志不太可能损坏的情况下,这将提供3个备份。这可以在ZooKeeper服务器机器上作为cron作业运行,以每天清理日志


如果这是一个dev实例,我想您可以几乎完全清除该文件夹,除了一些像myid这样的文件(如果有)。但是对于生产实例,您应该遵循上面显示的清理过程。

删除了Kafka标记,因为它不相关。谢谢。我不确定kafka中的zookeeper是否可以像hadoop中的zookeeper一样使用相同的步骤/清理api。现在我清楚了,我为ApacheZooKeeper找到的东西可以在这里应用。
java -cp zookeeper.jar:log4j.jar:conf org.apache.zookeeper.server.PurgeTxnLog <dataDir> <snapDir> -n <count>