Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/logging/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/joomla/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Logging 大量URL请求的模式聚合_Logging_Statistics - Fatal编程技术网

Logging 大量URL请求的模式聚合

Logging 大量URL请求的模式聚合,logging,statistics,Logging,Statistics,我发现需要从大量URL请求中获取统计数据,例如,从HTTPD请求日志中。其目的是了解不同类型请求的百分比,即将它们聚合到不同的桶中 我知道一种方法是手动定义不同请求的模式。但是,是否存在一些现有的工具/算法,它们有一个智能的自适应算法,可以根据URL中的常见前缀进行聚合 例如,如果日志中的URL如下所示: /api/docker/a/.. /api/docker/a/.. /api/docker/a/.. ... (repeat a lot, all started with /api/dock

我发现需要从大量URL请求中获取统计数据,例如,从HTTPD请求日志中。其目的是了解不同类型请求的百分比,即将它们聚合到不同的桶中

我知道一种方法是手动定义不同请求的模式。但是,是否存在一些现有的工具/算法,它们有一个智能的自适应算法,可以根据URL中的常见前缀进行聚合

例如,如果日志中的URL如下所示:

/api/docker/a/..
/api/docker/a/..
/api/docker/a/..
... (repeat a lot, all started with /api/docker/a)
/api/docker/b/..
/api/docker/b/..
... (repeat a lot, all started with /api/docker/b)
/api/token
/api/token
然后,我希望智能工具/算法输出如下:

/api/docker/a    M
/api/docker/b    N
/api/token       2
该工具/算法应能够根据数据本身的统计数据,以智能方式进行聚合,不需要或很少需要提供人工输入