Apache kafka 如何在Kafka 0.8.2.2中验证压缩是否正常工作?

Apache kafka 如何在Kafka 0.8.2.2中验证压缩是否正常工作?,apache-kafka,Apache Kafka,我正在使用Kafka 0.8.2.2并尝试设置压缩。我提供压缩编解码器(gzip)作为控制台生成器的参数,如下所示 ./kafka-console-producer.sh--代理列表localhost:171--压缩编解码器gzip--主题testTopic 问题 这是我唯一需要指定压缩的地方吗? 如何验证是否确实发生了压缩? 如何量化压缩带来的好处? 我应该查找哪些文件(.index、.log)并比较压缩前后的大小,以估计其好处?如何验证是否发生了压缩 使用DumpLogSegments工具并

我正在使用Kafka 0.8.2.2并尝试设置压缩。我提供压缩编解码器(gzip)作为控制台生成器的参数,如下所示

./kafka-console-producer.sh--代理列表localhost:171--压缩编解码器gzip--主题testTopic

问题 这是我唯一需要指定压缩的地方吗? 如何验证是否确实发生了压缩? 如何量化压缩带来的好处?
我应该查找哪些文件(.index、.log)并比较压缩前后的大小,以估计其好处?

如何验证是否发生了压缩

使用
DumpLogSegments
工具并替换目录位置/日志文件名(默认
log.dir
/tmp/kafka日志

bin/kafka-run-class.sh kafka.tools.DumpLogSegments--files/your_kafka_logs_dir/your_topic-your_partition/00000000000000000000.log--print data log | grep compresscodec
您将看到如下内容:

baseOffset: 0 lastOffset: 0 count: 1 ... compresscodec: NONE ...
baseOffset: 1 lastOffset: 1 count: 1 ... compresscodec: GZIP ...
baseOffset: 2 lastOffset: 2 count: 1 ... compresscodec: SNAPPY ...
baseOffset: 3 lastOffset: 3 count: 1 ... compresscodec: LZ4 ...

更多信息可在此处的文档中找到

谢谢,我可以验证当使用
--打印数据日志
运行时,输出也会打印记录。我已将该标志替换为
——仅验证索引
,以仅打印元数据。这是一个使用不同标志的示例
bin/kafka-run-class.sh kafka.tools.DumpLogSegments--files/your_kafka_logs_dir/your_topic-your_partition/00000000000000000000.log--verify index only | grep compresscodec
@marina这是如何使用融合云实现的?