Logging 大量URL请求的模式聚合
我发现需要从大量URL请求中获取统计数据,例如,从HTTPD请求日志中。其目的是了解不同类型请求的百分比,即将它们聚合到不同的桶中 我知道一种方法是手动定义不同请求的模式。但是,是否存在一些现有的工具/算法,它们有一个智能的自适应算法,可以根据URL中的常见前缀进行聚合 例如,如果日志中的URL如下所示:Logging 大量URL请求的模式聚合,logging,statistics,Logging,Statistics,我发现需要从大量URL请求中获取统计数据,例如,从HTTPD请求日志中。其目的是了解不同类型请求的百分比,即将它们聚合到不同的桶中 我知道一种方法是手动定义不同请求的模式。但是,是否存在一些现有的工具/算法,它们有一个智能的自适应算法,可以根据URL中的常见前缀进行聚合 例如,如果日志中的URL如下所示: /api/docker/a/.. /api/docker/a/.. /api/docker/a/.. ... (repeat a lot, all started with /api/dock
/api/docker/a/..
/api/docker/a/..
/api/docker/a/..
... (repeat a lot, all started with /api/docker/a)
/api/docker/b/..
/api/docker/b/..
... (repeat a lot, all started with /api/docker/b)
/api/token
/api/token
然后,我希望智能工具/算法输出如下:
/api/docker/a M
/api/docker/b N
/api/token 2
该工具/算法应能够根据数据本身的统计数据,以智能方式进行聚合,不需要或很少需要提供人工输入