Hadoop 如何捕获正在传输的数据的Apache flume元数据信息

Hadoop 如何捕获正在传输的数据的Apache flume元数据信息,hadoop,flume,Hadoop,Flume,我试图捕获ApacheFlume元数据信息,但我不知道它在哪里记录这些信息 如果需要进行任何预配置以捕获Flume元数据信息,请务必通知我 提前感谢。Flume组件将一些此类元信息记录在标准Flume日志(/var/log/Flume ng)中 例如,记录文件滚动时的路径: 19 апр 2013 13:00:07,063 INFO [hdfs-hdfs_sink-roll-timer-0] (org.apache.flume.sink.hdfs.BucketWriter.renameBuck

我试图捕获ApacheFlume元数据信息,但我不知道它在哪里记录这些信息

如果需要进行任何预配置以捕获Flume元数据信息,请务必通知我


提前感谢。

Flume组件将一些此类元信息记录在标准Flume日志(/var/log/Flume ng)中

例如,记录文件滚动时的路径:

19 апр 2013 13:00:07,063 INFO  [hdfs-hdfs_sink-roll-timer-0] (org.apache.flume.sink.hdfs.BucketWriter.renameBucket:379)  - Renaming hdfs://localhost/path/to/data/2013/04/19/12/data.1366358400751.tmp to hdfs://localhost/path/to/data/2013/04/19/12/data.1366358400751
记录每个接收到的事件批:

19 апр 2013 13:00:07,175 DEBUG [New I/O server worker #1-31] (org.apache.flume.source.AvroSource.appendBatch:222)  - Avro source avro_source: Received avro event batch of 100 events.

此外,Flume中还有监视功能,允许向外部系统(如Ganglia)报告一些度量,如已处理消息的总数、通道大小等。请看

你说的元数据是什么意思?您需要捕获哪些信息?感谢您的回复:我的意思是,如果apache flume将文件或日志从源传输到目标,是否可以捕获其传输文件的位置和传输的数据量,flume将所有这些信息存储在哪里。如果我对元数据的理解有误,请务必让我知道。提前感谢:)