Apache kafka 卡夫卡压缩,如何将其限制在一些列出的主题?如何使用客户端生成的API使用compressed.topics属性?
我已从客户端的producer API启用kafka消息压缩,如: configProperties.put(ProducerConfig.COMPRESSION\u TYPE\u CONFIG,“gzip”) 它工作得很好,但是如果我们想将上述压缩限制在某些列出的主题,我们注意到一种方法: configProperties.put(“compressed.topics”、“topicA、topicB”) 通过此链接: .Apache kafka 卡夫卡压缩,如何将其限制在一些列出的主题?如何使用客户端生成的API使用compressed.topics属性?,apache-kafka,compression,Apache Kafka,Compression,我已从客户端的producer API启用kafka消息压缩,如: configProperties.put(ProducerConfig.COMPRESSION\u TYPE\u CONFIG,“gzip”) 它工作得很好,但是如果我们想将上述压缩限制在某些列出的主题,我们注意到一种方法: configProperties.put(“compressed.topics”、“topicA、topicB”) 通过此链接: . 但它不起作用,这意味着在我的测试用例中,我启用了压缩,并且没有在comp
但它不起作用,这意味着在我的测试用例中,我启用了压缩,并且没有在compressed.topics的args中列出我的主题。但仍然应用了压缩。请提供帮助。压缩由卡夫卡中的几个参数处理:
- 在代理上,
配置整个集群的默认值。它允许值compression.type
,gzip
,snappy
,lz4
或未压缩
。前三种是不言自明的,它们只是不同的压缩方法(建议使用snappy/lz4),生产者
是不言自明的,默认的未压缩的
,基本上就是使用生产者决定使用的任何压缩(或不使用)。在本例中,Kafka只将消息视为字节数组,而不尝试对其进行解码生产者
- 在代理上的主题级别,您还可以指定与上面相同的配置,
,gzip
,snappy
,lz4
或未压缩
。它们完全相同,但专门针对您设置它们的主题充当覆盖生产者
- 在producer端,在code中,您还可以设置
,可能的值有compression.type
、gzip
、snappy
和lz4
,其中最后一个是默认值none
在这些文档中,没有提到作为配置选项的
压缩主题。因此,正如@cricket_007所提到的,这是一个过时/过时的wiki页面,您不应该使用它。压缩由Kafka中的几个参数处理:
- 在代理上,
compression.type
配置整个集群的默认值。它允许值gzip
,snappy
,lz4
,未压缩
或生产者
。前三种是不言自明的,它们只是不同的压缩方法(建议使用snappy/lz4),未压缩的
是不言自明的,默认的生产者
,基本上就是使用生产者决定使用的任何压缩(或不使用)。在本例中,Kafka只将消息视为字节数组,而不尝试对其进行解码
- 在代理上的主题级别,您还可以指定与上面相同的配置,
gzip
,snappy
,lz4
,未压缩
或生产者
。它们完全相同,但专门针对您设置它们的主题充当覆盖
- 在producer端,在code中,您还可以设置
compression.type
,可能的值有gzip
、snappy
、lz4
和none
,其中最后一个是默认值
您应该查看Kakfa的最新文档。您没有指定您正在使用的卡夫卡版本,但假设是最新版本,我将查看以下文档:
在这些文档中,没有提到作为配置选项的压缩主题。因此,正如@cricket_007所提到的,这是一个过时/过时的wiki页面,您不应该使用。您需要根据该wiki页面设置压缩。code
,但我会首先检查卡夫卡网站上的官方配置,因为该维基页面似乎可以追溯到卡夫卡0.7版本。您需要根据该维基页面设置compression.code
,但我会首先检查卡夫卡网站上的官方配置,因为那个维基页面似乎可以追溯到卡夫卡0.7版本