Hadoop 使用Flume传输压缩文件时,HDFS中缺少数据
我正在尝试使用flume将zip/压缩文件传输到HDFS,但我发现只有很少的文件被传输。e、 g.仅12份文件中的3份。 我曾多次尝试检查随机文件是否被传输,但每次都是相同的文件被传输。3、7、11和12号文件。 我的zip文件位于安装hadoop的同一台计算机上 详情: spool.confHadoop 使用Flume传输压缩文件时,HDFS中缺少数据,hadoop,flume,hadoop2,flume-ng,Hadoop,Flume,Hadoop2,Flume Ng,我正在尝试使用flume将zip/压缩文件传输到HDFS,但我发现只有很少的文件被传输。e、 g.仅12份文件中的3份。 我曾多次尝试检查随机文件是否被传输,但每次都是相同的文件被传输。3、7、11和12号文件。 我的zip文件位于安装hadoop的同一台计算机上 详情: spool.conf 我在日志中没有看到任何错误 #Agent components a1.sources = src1 a1.channels = chan1 a1.sinks = sink1 #configuring
我在日志中没有看到任何错误
#Agent components
a1.sources = src1
a1.channels = chan1
a1.sinks = sink1
#configuring the souce
a1.sources.src1.type = spooldir
a1.sources.src1.spoolDir = /home/hdeveloper/Logs
a1.sources.src1.deserializer=org.apache.flume.sink.solr.morphline.BlobDeserializer$Builder
#configuring the channel
a1.channels.chan1.type = file
#Checkpoint directory
a1.channels.chan1.checkpointDir = /home/hdeveloper/flume-metadata/.flume/file-channel/checkpoint
#log files created in Data directory while running flume-agent
a1.channels.chan1.dataDirs = /home/hdeveloper/flume-metadata/.flume/file-channel/data
#configuring the Sink
a1.sinks.sink1.type = hdfs
a1.sinks.sink1.hdfs.path = hdfs://localhost:9000/twitterdata
a1.sinks.sink1.hdfs.useLocalTimeStamp = true
a1.sinks.sink1.hdfs.fileType = CompressedStream
a1.sinks.sink1.hdfs.codeC = GzipCodec
a1.sources.src1.channels = chan1
a1.sinks.sink1.channel = chan1
------------------------------------------------
command to execute :
[hdeveloper@localhost apache-flume-1.6.0-bin]$ bin/flume-ng agent --conf ./conf --conf-file ./conf/spool.conf --name a1 -Dflume.root.logger=INFO,console