Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/logging/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Parsing 日志解析器:连续解析充满日志文件的文件夹 问题_Parsing_Logging_Logparser - Fatal编程技术网

Parsing 日志解析器:连续解析充满日志文件的文件夹 问题

Parsing 日志解析器:连续解析充满日志文件的文件夹 问题,parsing,logging,logparser,Parsing,Logging,Logparser,假设有一个文件夹a,其中包含来自应用程序的日志文件。日志逻辑创建一个新的日志文件,每小时写入一次。我把数据保存了3个月。因此,该文件夹中随时可能有10k个日志文件。 我有使用LogParser 2.2解析文件的查询,但问题是我需要将解析后的数据连续导出到SQL 例如,最初我解析当时存在的所有内容并将其导出到SQL 从下一次开始,我只想解析新的和以前没有解析过的内容。新的东西可能在一个新文件中(在这种情况下,我可以只解析新文件),但也可能是一些新条目被附加到我已经解析过的一个文件中 是否有一种简单

假设有一个文件夹a,其中包含来自应用程序的日志文件。日志逻辑创建一个新的日志文件,每小时写入一次。我把数据保存了3个月。因此,该文件夹中随时可能有10k个日志文件。 我有使用LogParser 2.2解析文件的查询,但问题是我需要将解析后的数据连续导出到SQL

例如,最初我解析当时存在的所有内容并将其导出到SQL

从下一次开始,我只想解析新的和以前没有解析过的内容。新的东西可能在一个新文件中(在这种情况下,我可以只解析新文件),但也可能是一些新条目被附加到我已经解析过的一个文件中

是否有一种简单的方法只解析后者中的新信息

或者 当涉及到多个文件时,LogParser是否有一种方法可以只解析基于时间戳信息的新内容?
我可以在查询中放置一个where子句,该子句根据时间戳进行过滤,但是不查看早于给定时间戳的数据是否足够聪明?

看起来我看起来不够努力

使用日志解析器进行连续/实时解析的答案是“-icheckpoint”开关。它保存了关于之前解析了多少的信息,这样当再次执行相同的查询时,日志解析器就不必重复它

查看此链接以获得更清晰的示例