Hadoop flume 1.5能否将压缩文件处理/传输到hdfs接收器
可以将flume 1.5处理/传输压缩文件到hdfs接收器。 我尝试使用blobdeserializer和压缩流以及编解码器作为gzip。 我使用的配置选项如下Hadoop flume 1.5能否将压缩文件处理/传输到hdfs接收器,hadoop,flume,biginsights,Hadoop,Flume,Biginsights,可以将flume 1.5处理/传输压缩文件到hdfs接收器。 我尝试使用blobdeserializer和压缩流以及编解码器作为gzip。 我使用的配置选项如下 agent1.sources.c1.deserializer =org.apache.flume.sink.solr.morphline.BlobDeserializer$Builder agent1.sinks.c1s1.hdfs.fileType = CompressedStream agent1.sinks.c1s1.hdfs.w
agent1.sources.c1.deserializer =org.apache.flume.sink.solr.morphline.BlobDeserializer$Builder
agent1.sinks.c1s1.hdfs.fileType = CompressedStream
agent1.sinks.c1s1.hdfs.writeFormat = Text
agent1.sinks.c1s1.hdfs.filePrefix = %{file}
agent1.sinks.c1s1.hdfs.codeC = gzip
agent1.sinks.c1s1.hdfs.serializer.compressionCodec = gzip