logstash转发器缺少频繁滚动日志文件的日志事件

logstash转发器缺少频繁滚动日志文件的日志事件,logstash,logstash-forwarder,Logstash,Logstash Forwarder,Logstash转发器缺少频繁滚动日志文件的日志事件。 我的java应用程序有很多批处理作业和实时数据源。基本上它是一个企业集成应用程序 我的应用程序为每个批处理作业创建日志文件,并使用log4j2作为日志框架。log4j2被定制为基于我通过bash脚本调用提供的提要名称动态创建日志文件,并使用log4j2路由适配器创建日志文件以下是log4j2配置 <?xml version="1.0" encoding="UTF-8"?> <Configuration xmlns="htt

Logstash转发器缺少频繁滚动日志文件的日志事件。

我的java应用程序有很多批处理作业和实时数据源。基本上它是一个企业集成应用程序

我的应用程序为每个批处理作业创建日志文件,并使用log4j2作为日志框架。log4j2被定制为基于我通过bash脚本调用提供的提要名称动态创建日志文件,并使用log4j2路由适配器创建日志文件

以下是log4j2配置

<?xml version="1.0" encoding="UTF-8"?> <Configuration xmlns="http://logging.apache.org/log4j/2.0/config" shutdownHook="disable"> <Properties>
        <Property name="log-path">${env:LOGPATH}</Property> </Properties> <Appenders>
     <Routing name="RoutingAppender" ignoreExceptions="true">
        <Routes pattern="${ctx:logFileName}">
            <Route>
                <RollingFile name="${ctx:logFileName}"
                    fileName="${log-path}/${ctx:logFileName}.log"
                    filePattern="${log-path}/${ctx:logFileName}_%i.log.gz">
                    <BurstFilter level="DEBUG" rate="16" maxBurst="100"/>
                    <PatternLayout pattern="%d{MM-dd-yyyy HH:mm:ss,SSS}|%level|[%thread]|[${env:USERNAME}]|[%C]|- %msg%n"/>
                    <SizeBasedTriggeringPolicy size="50MB" />
                    <DefaultRolloverStrategy max="20"/>
                </RollingFile>
            </Route>
        </Routes>
    </Routing> </Appenders> <Loggers>
    <Root level="INFO">
        <AppenderRef ref="RoutingAppender"/>
    </Root> </Loggers> </Configuration>
以下是logstash forwarder的参数集

./logstash-forwarder -quiet=true -config=./logstash-forwarder.conf
Kibana显示了证据,日志每2分钟接收一次。但我的应用程序正在连续处理数据,可以看到日志文件中记录的事件。 从我的分析中,我发现先前滚动文件的偏移量已被获取并用于当前日志文件

为了捕获所有日志事件,应该向日志存储转发器添加哪些配置

我尝试了-tail=true,但没有成功


我使用的是logstash forwarder的0.4.0版本,我的操作系统是RHEL 5.X。在回答这个问题时,FileBeats正在开发中。Elastic团队建议使用FileBeats作为logstash转发器,该转发器将在日落时使用。

在提出此问题时,FileBeats正在开发中。Elastic团队建议使用FileBeats作为logstash转发器将在日落时使用。

您没有包括logstash配置。您正在使用日期{}筛选器吗?您的elasticsearch刷新间隔设置为多少?这是logstash forwarder的一个现有错误,在file-beats中解决。您应该回答自己的问题,并为找到您的问题的其他人提供指向该问题的链接。您没有包括logstash配置。您正在使用日期{}筛选器吗?您的elasticsearch刷新间隔设置为多少?这是logstash forwarder的一个现有错误,在file-beats中解决。您应该回答自己的问题,并为找到您的问题的其他人提供该问题的链接。
./logstash-forwarder -quiet=true -config=./logstash-forwarder.conf