Apache spark 如何在Spark Streaming中将压缩数据写入Kafka？
可以从Spark streaming将gzip压缩数据写入Kafka吗？是否有任何示例/示例显示如何在Spark streaming job中从Kafka写入和读取压缩数据？是的，这是可能的。只需将Apache spark 如何在Spark Streaming中将压缩数据写入Kafka？,apache-spark,apache-kafka,spark-streaming,Apache Spark,Apache Kafka,Spark Streaming,可以从Spark streaming将gzip压缩数据写入Kafka吗？是否有任何示例/示例显示如何在Spark streaming job中从Kafka写入和读取压缩数据？是的，这是可能的。只需将压缩设置为gzip 有关完整示例，请参见 // Zookeeper connection properties val props = new HashMap[String, Object]() props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, br
压缩设置为gzip
有关完整示例，请参见
// Zookeeper connection properties
val props = new HashMap[String, Object]()
props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, brokers)
props.put(ProducerConfig.COMPRESSION_TYPE_CONFIG, "gzip")
// add other props as needed
val producer = new KafkaProducer[String, String](props)
您可以在server.properties文件中使用CLI或set
--压缩编解码器[压缩编解码器]压缩编解码器：“无”、“gzip”、“snappy”或“lz4”。如果未指定值，则默认为“gzip”。
0是默认值