Logging 避免重叠日志处理

扫描一系列文件（例如系统日志）时，如何避免再次扫描同一系列日志？我对Splunk在数据库中保存日志所做的事情很感兴趣，但是我想不出一种方法来更新数据库，而不在以前扫描的文件中放置一些指示符。这个过程有什么技巧吗？或者我必须扫描一个文件，找到上次扫描的最后一个项目，然后开始处理。

1）Splunk不使用数据库，它将信息索引到磁盘上的压缩平面文件

2） 如果您使用Splunk来监视日志文件和日志文件目录，那么Splunk足够智能，可以跟踪它在监视中的位置，从而不会对重复的日志事件重新编制索引