Hbase 水槽-如何在定期或达到一定大小时读取日志

Hbase 水槽-如何在定期或达到一定大小时读取日志,hbase,hadoop2,flume,Hbase,Hadoop2,Flume,我想知道,是否可以将Flume配置为定期读取日志,或者当日志达到一定大小时读取日志,以及如何进行?提前谢谢 水槽定期读取日志 或者,当日志达到一定的大小时,如何处理 代理将持续运行这是flume的功能。所以在任何时间间隔内,日志或消息都会出现。。。水槽能够捕捉到这些 如果要检查传入消息或日志的大小,必须编写FlumeSource,即(公共类FlumeSource extends AbstractSource implements Configurable,EventDrivenSource),它

我想知道,是否可以将Flume配置为定期读取日志,或者当日志达到一定大小时读取日志,以及如何进行?提前谢谢

水槽定期读取日志 或者,当日志达到一定的大小时,如何处理

代理将持续运行这是flume的功能。所以在任何时间间隔内,日志或消息都会出现。。。水槽能够捕捉到这些

如果要检查传入消息或日志的大小,必须编写
FlumeSource
,即(
公共类FlumeSource extends AbstractSource implements Configurable,EventDrivenSource
),它将在源位置捕获日志并打印大小。 你可以用

LOG.info("Processing message...with size = " + FileUtils.byteCountToDisplaySize(bytes.length));
其中,
FileUtils
是apachecommons类&
byteCountToDisplaySize
用于显示人类可读的方式

要将事件日志序列化到hbase,可以使用AsyncHbase api编写自定义序列化程序