Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop 使用Flume传输压缩文件时,HDFS中缺少数据_Hadoop_Flume_Hadoop2_Flume Ng - Fatal编程技术网

Hadoop 使用Flume传输压缩文件时,HDFS中缺少数据

Hadoop 使用Flume传输压缩文件时,HDFS中缺少数据,hadoop,flume,hadoop2,flume-ng,Hadoop,Flume,Hadoop2,Flume Ng,我正在尝试使用flume将zip/压缩文件传输到HDFS,但我发现只有很少的文件被传输。e、 g.仅12份文件中的3份。 我曾多次尝试检查随机文件是否被传输,但每次都是相同的文件被传输。3、7、11和12号文件。 我的zip文件位于安装hadoop的同一台计算机上 详情: spool.conf 我在日志中没有看到任何错误 #Agent components a1.sources = src1 a1.channels = chan1 a1.sinks = sink1 #configuring

我正在尝试使用flume将zip/压缩文件传输到HDFS,但我发现只有很少的文件被传输。e、 g.仅12份文件中的3份。 我曾多次尝试检查随机文件是否被传输,但每次都是相同的文件被传输。3、7、11和12号文件。 我的zip文件位于安装hadoop的同一台计算机上

详情:

spool.conf



我在日志中没有看到任何错误

#Agent components
a1.sources = src1
a1.channels = chan1
a1.sinks = sink1

#configuring the souce
a1.sources.src1.type = spooldir
a1.sources.src1.spoolDir = /home/hdeveloper/Logs
a1.sources.src1.deserializer=org.apache.flume.sink.solr.morphline.BlobDeserializer$Builder


#configuring the channel
a1.channels.chan1.type = file

#Checkpoint directory
a1.channels.chan1.checkpointDir = /home/hdeveloper/flume-metadata/.flume/file-channel/checkpoint

#log files created in Data directory while running flume-agent
a1.channels.chan1.dataDirs = /home/hdeveloper/flume-metadata/.flume/file-channel/data


#configuring the Sink
a1.sinks.sink1.type = hdfs
a1.sinks.sink1.hdfs.path = hdfs://localhost:9000/twitterdata
a1.sinks.sink1.hdfs.useLocalTimeStamp = true
a1.sinks.sink1.hdfs.fileType = CompressedStream
a1.sinks.sink1.hdfs.codeC = GzipCodec

a1.sources.src1.channels = chan1
a1.sinks.sink1.channel = chan1


------------------------------------------------

command to execute :

[hdeveloper@localhost apache-flume-1.6.0-bin]$ bin/flume-ng agent --conf ./conf --conf-file ./conf/spool.conf --name a1 -Dflume.root.logger=INFO,console