机器人程序在apache访问日志中抛出500个错误

在我的Apache错误日志中，我可以看到每天都有大量的以下错误

[Tue Jan 15 13:37:39 2013] [error] [client 66.249.78.53] Request exceeded the limit of 10 internal redirects due to probable configuration error. Use 'LimitInternalRecursion' to increase the limit if necessary. Use 'LogLevel debug' to get a backtrace.

当我用访问日志检查相应的IP、日期和时间时，我可以看到以下内容

66.249.78.53 - - [15/Jan/2013:13:37:39 +0000] "GET /robots.txt HTTP/1.1" 500 821 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

我已经在GoogleWebMSter工具->健康->阻止URL中测试了robot.txt文件，一切正常

此外，当机器人访问某些图像时，它会抛出以下错误：

错误日志

[Tue Jan 15 12:14:16 2013] [error] [client 66.249.78.15] Request exceeded the limit of 10 internal redirects due to probable configuration error. Use 'LimitInternalRecursion' to increase the limit if necessary. Use 'LogLevel debug' to get a backtrace.

已访问的URL

66.249.78.15 - - [15/Jan/2013:12:14:16 +0000] "GET /userfiles_generic_imagebank/1335441506.jpg?1 HTTP/1.1" 500 821 "-" "Googlebot-Image/1.0"

实际上，上面的图像URL（以及我们访问日志中的其他几个图像）在我们的网站上不可用（它们在我们2012年8月进行的网站改造之前可用），当我们访问这些无效资源时，我们抛出了404个错误

然而，有时，机器人（甚至人类访客）似乎会在我们的访问/错误日志中生成这种类型的错误，只针对不存在的静态资源，如图像和robots.txt文件。服务器为它们抛出500个错误，但实际上当我在浏览器中尝试时，图像是404，robots.txt是200（成功）

我们不知道为什么会发生这种情况，为什么一个有效的robot.txt和无效的图像会抛出500个错误。我们有一个.htaccess文件，我们确信我们的（Zend framework）应用程序没有被访问，因为我们有一个单独的日志。因此，服务器本身（或.htaccess）会“偶尔”抛出500错误，我无法想象为什么。可能是由于对服务器的请求太多，或者我如何进一步调试

---

请注意，我们只是在设计改进后才注意到这些错误，但web服务器本身保持不变

记录客户端正在访问的域可能会有用。您的服务器可以通过多个域访问，包括原始IP地址。当您进行测试时，您是通过主域进行的，并且一切都按照预期工作。如果您试图通过IP访问相同的文件，该怎么办(http://1.2.3.4/robots.txt)与域名(http://example.com/robots.txt)? 另外还有example.com与www.example.com或指向服务器的任何其他变体

---

僵尸程序有时会在地址更改后很长时间内保留IP/域信息，并可能试图访问几个月前规则已更改的内容。

这一定是您的重写规则有问题。如果可能的话，禁用重定向，看看这是否仍然发生。谢谢你提醒我。是的，我有一个别名域，请参阅我的图像文件夹

http://mydomain.com/images/ =别名域(http://subdomain.com)

。现在，当我上传一个basic.htaccess文件到`'路径时，它实际上抛出了404。3天后，我检查了错误日志文件，没有发生重定向。