Asp.net 在我的网站上获取大量不需要的404日志

在过去的几个月里，我面临着由于请求一些错误的URL而导致404错误的问题。我不知道这些链接是从哪里来的。在我们的网站上没有这样的链接。例如：

有如下链接：

www.abc.com/definition/1333/text/javascript

www.abc.com/undefined

www.abc.com/twitter.json

以上只是样本，我每天都会收到100个不同关键字的样本

---

有没有人遇到过同样的问题？

如果普通（即人类）访问者无法通过您网站上的链接到达这些位置，您就不必担心了

有许多爬虫在网上搜索可利用的软件。这些爬虫使用他们知道的URL从一个网站跳到另一个网站，并告诉他们某个应用程序是否正在运行

---

但是，您应该小心并仔细检查，这样您就不会有标记错误或类似的错误导致您的访问者访问404

---

在责备别人之前，一定要先责备自己。判断是否是您的错的一种方法是开始记录

Referer

标题（查看哪个页面指向

404

），即使这很容易伪造，您仍然会面临足够多的事实来排除其中一个。

看起来像是使用未定义变量在javascript中生成的链接。通过您的日志记录（无论您是将其记录在应用程序中，还是仅使用IIS），启用引用者的日志记录，并查看是否可以捕获坏链接的来源。您是否有一个通用的用户代理为各种企业提供404？我发现一些蜘蛛是我的一些网站的主要罪魁祸首。看起来所有类型的用户代理都被记录下来了。很少有：Mozilla/5.0（Windows NT 6.1）AppleWebKit/537.11（KHTML，像Gecko）Chrome/23.0.1271.64 Safari/537.11 Mozilla/5.0（Windows NT 6.1）AppleWebKit/537.11（KHTML，像Gecko）Chrome/23.0.1271.64 Safari/537.11 Mozilla/5.0（Windows NT 6.1）AppleWebKit/535.19（KHTML，像Gecko）Chrome/18.0.1025.152 Safari/535.19 Mozilla/5.0（Windows NT 5.1；rv:14.0）Gecko/20100101 Firefox/14.0.1 Mozilla/4.0（兼容；MSIE 6.0；Windows NT 5.1；SV1；）Mozilla/5.0（Windows NT 5.1；rv:6.0）Gecko/20100101 Firefox/6.0.2mark-ups看起来不错，我已经多次重新检查，但没有发现任何错误的URL。一切似乎都很好。但是记录的404 URL真的很奇怪。假设我在网站上有两个链接a）/definition/211/testcase和b）/topic/181/security。我在www.abc.com这样的页面上得到了404:80/definition/211/testcase/topic/181/security。这是一种类型，但也存在其他格式的错误，如www.abc.com:80？s=register和www.abc.com:80/signup，这很奇怪！！！。还有一点需要注意的是端口附加了：80 Everytimanks作为响应。根据推荐人所关心的，每次都是空白（“”）。加价似乎很好，我已经重新检查了很多次，但没有发现任何错误的URL。一切似乎都很好。但是记录的404 URL真的很奇怪。假设我在网站上有两个链接a）/definition/211/testcase和b）/topic/181/security。我在www.abc.com这样的页面上得到了404:80/definition/211/testcase/topic/181/security。这是一种类型，但也存在其他格式的错误，如www.abc.com:80？s=register和www.abc.com:80/signup，这很奇怪！！！。还有一点需要注意的是端口每次都附加：80