Apache kafka 卡夫卡分区和偏移消失了

Apache kafka 卡夫卡分区和偏移消失了,apache-kafka,bitnami,gcp,google-compute-engine,Apache Kafka,Bitnami,Gcp,Google Compute Engine,我的Kafka客户端在GCP应用程序引擎Flex环境中运行,并启用了自动缩放功能(GCP将实例数保持为至少两个,由于CPU使用率较低,实例数大多为2个)。在2个虚拟机中运行的用户组几个月来一直在20个分区中使用来自不同主题的消息,最近我注意到旧主题中的分区缩小到只有1(!),该用户组的偏移量重置为0。主题-[partition]目录也从kafka日志目录中删除。奇怪的是,最近创建的主题分区完好无损。我有三个不同的环境(都在GCP中),这三个环境都发生过。我们没有看到任何丢失的消息或数据问题,但希

我的Kafka客户端在GCP应用程序引擎Flex环境中运行,并启用了自动缩放功能(GCP将实例数保持为至少两个,由于CPU使用率较低,实例数大多为2个)。在2个虚拟机中运行的用户组几个月来一直在20个分区中使用来自不同主题的消息,最近我注意到旧主题中的分区缩小到只有1(!),该用户组的偏移量重置为0。主题-[partition]目录也从kafka日志目录中删除。奇怪的是,最近创建的主题分区完好无损。我有三个不同的环境(都在GCP中),这三个环境都发生过。我们没有看到任何丢失的消息或数据问题,但希望了解发生了什么,以避免再次发生这种情况

kafka broker和zookeeper在同一个单一的GCP计算引擎实例中运行(我知道这不是最佳实践,并且有改进的计划),我怀疑这与机器重启有关,这会抹去一些信息。但是,我验证了数据文件是写在/opt/bitnami/(kafka | bitnami)目录下的,而不是可以通过机器重启删除的/tmp

  • 春季卡夫卡1.1.3
  • 卡夫卡客户端0.10.1.1
  • 单节点kafka broker 0.10.1.0
  • 单节点zookeeper 3.4.9

对此有任何见解都将不胜感激

这里是Bitnami开发者。我可以复制这个问题并追踪到一个初始化脚本,该脚本正在清除
tmp/kafka logs/
文件夹的内容


我们发布了卡夫卡的新版本,并解决了这个问题。包含修复的修订版是
1.0.0-2

这有什么关系?我使用spring kafka来生成和使用消息。我只是列出了它,希望能得到一些反馈和可见性。如果它与上面描述的症状完全无关,我应该把它去掉。我能够重现这一点。通过重新启动代理VM,分区计数下降到“1”,偏移量从“0”开始。因此,代理服务器配置/启动过程似乎存在问题。{spring-[kafka}-client]已脱离困境。加里,抱歉误报了。将删除标记谢谢你的补丁。然而,还有更多。它还在VM重启时删除所有zookeeper数据(!)。