IP黑名单Apache

我对我的网站进行了IP扫描，我的apache错误日志显示了它们，我在这里提出了一个问题：

现在，在阻止之后，一个新的IP正在访问我的站点（对于与以前的IP相同的目录）。目录不存在，生成的所有内容都是随机的

问题：

新的IP访问是66.249.74.73，当我在这里看到IP信息时：它表明它是谷歌机器人。现在，我很困惑。我是否应该阻止它

如果我阻止了这些IP，而一个新的IP又在做同样的事情，我应该继续这样阻止IP吗？难道没有永久的解决办法吗

我在Ubuntu 15.10中使用Apache

更新：现在，它可以成功进入我的网站并对其进行爬网（我没有在任何地方为我的网站编制索引），只需构建它

 [Fri Nov 20 18:36:31.026761 2015] [core:info] [pid 19594] [client 66.249.74.73:57119] AH00128: File does not exist: /var/www/html/robots.txt
 [Fri Nov 20 18:36:31.446036 2015] [core:info] [pid 19595] [client 66.249.74.69:63983] AH00128: File does not exist: /var/www/html/company/v/19175398/\xce\xe4\xba\xba\xb5\xc2\xc0\xfb\xd4\xb4\xc3\xb3\xd2\xd7\xd3\xd0\xcf\xde\xb9\xab\xcb\xbe
 [Fri Nov 20 18:36:32.228918 2015] [core:info] [pid 19595] [client 66.249.74.69:63983] AH00128: File does not exist: /var/www/html/company/v/5146022/\xd5\xf2\xbd\xad\xca\xd0\xb5\xa4\xcd\xbd\xc7\xf8\xb9\xe2\xc3\xf7\xb8\xa8\xd6\xfa\xb2\xc4\xc1\xcf\xb3\xa7

---

我已经在SO中提出了一个问题，但是IP一直在生成，我不知道如何阻止所有生成的IP。（手动将每个爬虫机器人添加到黑名单是唯一的方法吗？

所有爬虫机器人都要通过

/robots.txt

文件。使用以下内容创建此文件：

User-agent: *
Disallow: /

没有一个机器人会在你的网站上进一步爬行

---

您可以阅读更多信息。

如果robots.txt不起作用，您也可以尝试在.htaccess文件中使用modrewrite

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} AltaVista [OR]
RewriteCond %{HTTP_USER_AGENT} Googlebot [OR]
RewriteCond %{HTTP_USER_AGENT} msnbot [OR]
RewriteCond %{HTTP_USER_AGENT} Slurp
RewriteRule ^.*$ "http\:\/\/yourdomain\.com" [R=301,L]

---

@安德里奥斯：我打开了这个新的，因为我想要一个永久的解决方案，IP即使在阻塞后也会不断生成。创建一个

robots.txt

一行

%{HTTP_USER\u AGENT}AltaVista | Googlebot | msnbot | Slurp

将与不断变化的robots.txt一起完成。谢谢。我添加了它，我希望我不会被那些IP攻击。