Apache kafka 卡夫卡压缩,如何将其限制在一些列出的主题?如何使用客户端生成的API使用compressed.topics属性?

Apache kafka 卡夫卡压缩,如何将其限制在一些列出的主题?如何使用客户端生成的API使用compressed.topics属性?,apache-kafka,compression,Apache Kafka,Compression,我已从客户端的producer API启用kafka消息压缩,如: configProperties.put(ProducerConfig.COMPRESSION\u TYPE\u CONFIG,“gzip”) 它工作得很好,但是如果我们想将上述压缩限制在某些列出的主题,我们注意到一种方法: configProperties.put(“compressed.topics”、“topicA、topicB”) 通过此链接: . 但它不起作用,这意味着在我的测试用例中,我启用了压缩,并且没有在comp

我已从客户端的producer API启用kafka消息压缩,如:

configProperties.put(ProducerConfig.COMPRESSION\u TYPE\u CONFIG,“gzip”)

它工作得很好,但是如果我们想将上述压缩限制在某些列出的主题,我们注意到一种方法:

configProperties.put(“compressed.topics”、“topicA、topicB”)

通过此链接: .
但它不起作用,这意味着在我的测试用例中,我启用了压缩,并且没有在compressed.topics的args中列出我的主题。但仍然应用了压缩。请提供帮助。

压缩由卡夫卡中的几个参数处理:

  • 在代理上,
    compression.type
    配置整个集群的默认值。它允许值
    gzip
    snappy
    lz4
    未压缩
    生产者
    。前三种是不言自明的,它们只是不同的压缩方法(建议使用snappy/lz4),
    未压缩的
    是不言自明的,默认的
    生产者
    ,基本上就是使用生产者决定使用的任何压缩(或不使用)。在本例中,Kafka只将消息视为字节数组,而不尝试对其进行解码
  • 在代理上的主题级别,您还可以指定与上面相同的配置,
    gzip
    snappy
    lz4
    未压缩
    生产者
    。它们完全相同,但专门针对您设置它们的主题充当覆盖
  • 在producer端,在code中,您还可以设置
    compression.type
    ,可能的值有
    gzip
    snappy
    lz4
    none
    ,其中最后一个是默认值
您应该查看Kakfa的最新文档。您没有指定您正在使用的卡夫卡版本,但假设是最新版本,我将查看以下文档:


在这些文档中,没有提到作为配置选项的
压缩主题。因此,正如@cricket_007所提到的,这是一个过时/过时的wiki页面,您不应该使用它。

压缩由Kafka中的几个参数处理:

  • 在代理上,
    compression.type
    配置整个集群的默认值。它允许值
    gzip
    snappy
    lz4
    未压缩
    生产者
    。前三种是不言自明的,它们只是不同的压缩方法(建议使用snappy/lz4),
    未压缩的
    是不言自明的,默认的
    生产者
    ,基本上就是使用生产者决定使用的任何压缩(或不使用)。在本例中,Kafka只将消息视为字节数组,而不尝试对其进行解码
  • 在代理上的主题级别,您还可以指定与上面相同的配置,
    gzip
    snappy
    lz4
    未压缩
    生产者
    。它们完全相同,但专门针对您设置它们的主题充当覆盖
  • 在producer端,在code中,您还可以设置
    compression.type
    ,可能的值有
    gzip
    snappy
    lz4
    none
    ,其中最后一个是默认值
您应该查看Kakfa的最新文档。您没有指定您正在使用的卡夫卡版本,但假设是最新版本,我将查看以下文档:


在这些文档中,没有提到作为配置选项的
压缩主题。因此,正如@cricket_007所提到的,这是一个过时/过时的wiki页面,您不应该使用。

您需要根据该wiki页面设置
压缩。code
,但我会首先检查卡夫卡网站上的官方配置,因为该维基页面似乎可以追溯到卡夫卡0.7版本。您需要根据该维基页面设置
compression.code
,但我会首先检查卡夫卡网站上的官方配置,因为那个维基页面似乎可以追溯到卡夫卡0.7版本