Iis Bot流量识别策略

机器人。讨厌他们

我需要完成的事情 和其他人一样，我想统计一下，在不被网络机器人人为夸大的情况下，内容片段被呈现为特色或显示为链接的次数

为什么我们不能仅仅依靠谷歌分析 GA在验证他们报告的数字方面做得很好，但是他们只报告主url，而不报告“相关项目”，因为“相关项目”在每个页面视图/每个用户上是不同的，我们需要自己跟踪这些项目

GA是一个很好的标准，我们可以用它来衡量我们的数字，但仅此而已

我到目前为止所做的事情

• 经过身份验证的用户永远不会受到防火墙维护IP地址的困扰 黑名单
• 应用程序跟踪已知的机器人程序
• 每晚汇总工作都会拖网我们的日志，寻找以下信号：
• 持续的请求突发（每秒页数高达x秒以上）
• 请求块IP地址块（x.y.z.245、.246、.247、.248等）不能同时跟踪我们的内容 时间）
• 登录页面模式+对每个页面的请求，按顺序，快速连续（人类很少阅读每一篇文章，也没有那么快）

我在寻找什么 不是含糊不清的建议，而是可操作的算法，或最佳实践，或描述方法如何实际实现的文章，至少有一些伪代码片段。我不希望得到一个银弹，但我知道有一些方法来解决这个问题，我还没有看到。我只是想看看好的白皮书什么的

我已经看过一百万次了

• “我们公司使用浏览器实现了多层方法 挑战和后端分析，诸如此类“听起来不错，我相信投资者喜欢它，举个实际的例子怎么样
• 厌倦了首席信息官的讲话。“我们在表单上添加隐藏字段，这是 叫蜜罐！”

我们将非常感激任何实际可行的事情