Apache kafka 卡夫卡压缩类型版本-0.10.0.1

我一直在使用性能测试工具测试kafka压缩类型。 基本上，我使用内置工具以不同的压缩模式向kafka集群发送1000000条消息。我所看到的压缩是与gzip和lz4一起工作的，但是数据似乎没有得到snappy类型的压缩

此外，我还检查了snappy的网络流量，它在客户端被压缩，但在代理上似乎有问题

发送前的存储：

5.0K    ./test_none-0
1.0K    ./test_gzip-0
3.0K    ./test_snappy-0
1.0K    ./test_lz4-0

运行以下命令将1M消息发布到服务器

/home/sysgenu/kafka/kafka_2.10-0.10.0.1/bin/kafka-producer-perf-test.sh --num-records 1000000 --throughput 100000 --record-size 1000 --topic test_none --producer-props bootstrap.servers=ldnpsr000001131:9092,gbrcsr000000096:9092
/home/sysgenu/kafka/kafka_2.10-0.10.0.1/bin/kafka-producer-perf-test.sh --num-records 1000000 --throughput 100000 --record-size 1000 --topic test_snappy --producer-props bootstrap.servers=ldnpsr000001131:9092,gbrcsr000000096:9092 compression.type=snappy
/home/sysgenu/kafka/kafka_2.10-0.10.0.1/bin/kafka-producer-perf-test.sh --num-records 1000000 --throughput 100000 --record-size 1000 --topic test_gzip --producer-props bootstrap.servers=ldnpsr000001131:9092,gbrcsr000000096:9092 compression.type=gzip
/home/sysgenu/kafka/kafka_2.10-0.10.0.1/bin/kafka-producer-perf-test.sh --num-records 1000000 --throughput 100000 --record-size 1000 --topic test_lz4 --producer-props bootstrap.servers=ldnpsr000001131:9092,gbrcsr000000096:9092 compression.type=lz4

发布后检查存储

494M    ./test_none-0
96M     ./test_gzip-0
500M    ./test_snappy-0
25M     ./test_lz4-0

我不知道为什么斯内皮什么都不开心

---

感谢您的帮助？

这可能是因为Snappy中使用的当前默认块大小（1K）太小，如中所述。感谢@amethystic。您能建议在生成记录时如何更改默认缓冲区大小吗？需要设置哪个参数？我的意思是生产者是否有其他配置来影响此因素？似乎没有配置可以更改此行为。我已将消息大小更改为100，并进行了压缩。我认为，由于消息大小大于snappy的缓冲区大小，因此压缩被忽略。这可能是因为snappy中使用的当前默认块大小（1K）太小，如中所述。感谢@amethystic。您能否建议在生成记录时如何更改默认缓冲区大小？需要设置哪个参数？我的意思是生产者是否有其他配置来影响此因素？似乎没有配置可以更改此行为。我已将消息大小更改为100，并进行了压缩。我认为因为消息大小大于snappy的缓冲区大小，所以压缩被忽略。