Http 如何设置Cloudflare防火墙以阻止假冒的Google机器人
我知道这些ip是假的谷歌机器人,我想阻止它们。Ip不是静态的,所以我想阻止Cloudflare中的范围 但是它不起作用。 以下是Google fake bot的示例日志: 以下是假冒的机器人IP:Http 如何设置Cloudflare防火墙以阻止假冒的Google机器人,http,security,nginx,cloudflare,googlebot,Http,Security,Nginx,Cloudflare,Googlebot,我知道这些ip是假的谷歌机器人,我想阻止它们。Ip不是静态的,所以我想阻止Cloudflare中的范围 但是它不起作用。 以下是Google fake bot的示例日志: 以下是假冒的机器人IP: 162.158.74.61 162.158.74.175 162.158.75.188 162.158.75.68 162.158.75.230 162.158.75.242 162.158.75.26 162.158.74.205 172.68.58.213 172.68.58.141 172.6
162.158.74.61
162.158.74.175
162.158.75.188
162.158.75.68
162.158.75.230
162.158.75.242
162.158.75.26
162.158.74.205
172.68.58.213
172.68.58.141
172.68.58.21
172.68.59.40
172.68.59.184
108.162.216.176
108.162.216.248
108.162.216.92
以下是我当前的Cloudflare配置:
你知道该怎么做吗?你可以通过robots.txt和
User-agent: *
Disallow: /
它将阻止所有机器人在你的网站上爬行
另外,如果你想让一个机器人,比如谷歌机器人
User-agent: Googlebot
Allow: /
添加到http块中的
/etc/nginx/nginx.conf
:
geo $fakebotip {
default 0;
108.162.0.0/16 1;
141.101.0.0/16 1;
162.158.0.0/16 1;
172.68.0.0/16 1;
172.69.0.0/16 1;
}
然后转到/etc/nginx/sites available/your site.pl
:
if ($fakebotip = 1) {
set $naughtyBot A;
}
if ($http_user_agent ~ (Googlebot|SemrushBot|AhrefsBot|bingbot|Qwantify|YandexBot|YandexImages|DotBot|linkfluence|Mediatoolkitbot|BoardReader) ) {
set $naughtyBot "${naughtyBot}B";
}
if ($naughtyBot = AB) {
return 404;
}
检查nginx配置:
sudo nginx-t
如果一切正常,请重新加载nginx:
sudo systemctl reload nginx
我不想阻止所有机器人。只需要阻止假机器人,我已经在上面粘贴了假机器人的IP。阻止每个机器人会破坏我的搜索引擎优化。此外,我需要在Cloudflare中阻止它。