Download 拒绝机器人下载我的文件

我有一个asp.net下载页面，它向客户端发送一个文件，但我想拒绝机器人下载该文件，因为该文件很大，从记录中可以看出，机器人下载该文件大约20次。这会降低服务器速度并导致带宽消耗

我对这个页面进行编码是为了计算下载量并检测客户端的.net framework，以便发布包含或不包含.net framework的安装文件

我需要以某种方式拒绝谷歌和其他机器人进入这个页面

我的下载链接类似于download.aspx？pack=msp

你想要一个。例如：

User-agent: *
Disallow: /download.aspx

---

这不会强制阻止搜索引擎，但大多数（包括谷歌）会检查robots.txt文件并按照其说明进行操作

是的，将robots.txt文件添加到您的站点。它应该包含一个关于爬行器行为的规则（建议）列表

---

查看文章了解更多信息。同样对于kicks，是谷歌使用的robot.txt文件。

正如另外两个人所指出的，正确的答案是创建robots.txt文件，使行为良好的机器人不下载东西

---

然而，重要的是要知道并非所有机器人都表现良好，robots.txt只是一个建议。如果您有未公开链接的页面，请不要将其列在robots.txt中以“保护”它们，因为一些行为异常的机器人实际上会扫描该文件，以查看哪些有趣的URL可能是他们还不知道的。

代替robots.txt文件，在不可能的情况下，您可以使用

标记装饰页面

• 再一次，正如唐尼提到的，这是 只是对机器人和网络的一个建议 没有要求遵循它

• 实现一个验证码方法 提供登录机制以允许 希望用户访问受保护的 文件夹，你保存你最大的 档案

• 而不是提供直接链接到 容易被用户解析的内容 机器人程序，在您的下载链接上使用Javascript来重定向您的 用户。许多机器人不会执行 javascript，尽管机器人模糊处理是 通常是移动的目标