Hbase 水槽-如何在定期或达到一定大小时读取日志
我想知道,是否可以将Flume配置为定期读取日志,或者当日志达到一定大小时读取日志,以及如何进行?提前谢谢 水槽定期读取日志 或者,当日志达到一定的大小时,如何处理 代理将持续运行这是flume的功能。所以在任何时间间隔内,日志或消息都会出现。。。水槽能够捕捉到这些 如果要检查传入消息或日志的大小,必须编写Hbase 水槽-如何在定期或达到一定大小时读取日志,hbase,hadoop2,flume,Hbase,Hadoop2,Flume,我想知道,是否可以将Flume配置为定期读取日志,或者当日志达到一定大小时读取日志,以及如何进行?提前谢谢 水槽定期读取日志 或者,当日志达到一定的大小时,如何处理 代理将持续运行这是flume的功能。所以在任何时间间隔内,日志或消息都会出现。。。水槽能够捕捉到这些 如果要检查传入消息或日志的大小,必须编写FlumeSource,即(公共类FlumeSource extends AbstractSource implements Configurable,EventDrivenSource),它
FlumeSource
,即(公共类FlumeSource extends AbstractSource implements Configurable,EventDrivenSource
),它将在源位置捕获日志并打印大小。
你可以用
LOG.info("Processing message...with size = " + FileUtils.byteCountToDisplaySize(bytes.length));
其中,FileUtils
是apachecommons类&byteCountToDisplaySize
用于显示人类可读的方式
要将事件日志序列化到hbase,可以使用AsyncHbase api编写自定义序列化程序