.htaccess 通过htaccess阻止除Google之外的所有爬虫程序_.htaccess_Server

.htaccess 通过htaccess阻止除Google之外的所有爬虫程序

.htaccess server

.htaccess 通过htaccess阻止除Google之外的所有爬虫程序,.htaccess,server,.htaccess,Server,目前我正在使用阻止htaccess上的爬虫程序 RewriteEngine On RewriteCond %{HTTP_USER_AGENT} (AhrefsBot) [NC] RewriteRule .* - [R=403,L] 重新启动发动机 RewriteCond%{HTTP_USER_AGENT}（AhrefsBot）[NC] 重写规则。*-[R=403，L] 但是我想设置一个代码来阻止除google bot之外的所有爬虫程序我想你仍然希望普通用户访问你的网站？在这种情况下，解决方案是

目前我正在使用阻止htaccess上的爬虫程序

RewriteEngine On RewriteCond %{HTTP_USER_AGENT} (AhrefsBot) [NC] RewriteRule .* - [R=403,L] 重新启动发动机 RewriteCond%{HTTP_USER_AGENT}（AhrefsBot）[NC] 重写规则。*-[R=403，L]

但是我想设置一个代码来阻止除google bot之外的所有爬虫程序

我想你仍然希望普通用户访问你的网站？在这种情况下，解决方案是非常重要的，因为您需要以某种方式将真实用户与“所有其他爬虫”区分开来，而且他们看起来可能是一样的。除非你有特定的原因，

robots.txt

通常是一种方式。我认为{HTTP\u USER\u AGENT}是我区分爬虫和普通用户的方式，因为SEO原因，我不想使用robots.txt