Web crawler GoogleBot（和恶意网站）请求无效目录

GoogleBot正在从一个从未存在过的无效目录请求有效文件。例如：

/energy/

附加到有效路径和文件以生成：

/energy/css/example.css

奇怪的是，

$\u服务器['HTTP\u REFERER']

还显示了无效目录中的有效页面（在本例中为

http://www.example.com

是我的网站）：

/docs/anthro/

是一个有效的目录，但是

payment.php

永远不会在这个目录中，当然

/energy/

也永远不会有效

更奇怪的是，恶意网站也从

/energy/

请求有效页面，例如：

/energy/register.php

---

发生了什么事？

检查robots.txt和站点地图

您确定没有混淆“虚拟目录”和“物理目录”吗？您没有说明正在使用的web服务器，但大多数服务器都提供了将URL映射到文件系统中严格存在的不同位置的功能。这是共享主机上的Apache web服务器。我没有将任何URL映射到.htaccess中的不同位置，只是将无效页面重新路由到

index.php

Nope。其中任何一个都没有

/energy/

。这个目录也不可能意外地进入这些目录。第一次发生这种情况时，它是一个名为

火箭型号
的目录，我在robots.txt中添加了一个排除项，希望能阻止它。但这是出现的第二个无位置目录。，。。
/energy/register.php