Dns 如何禁止我的子域从谷歌爬虫索引时。
这是我的疑问。我有一个名为www.example.com的网站,它在谷歌搜索引擎中建立了索引。其中beta.example.com是我的测试子域。现在,beta.example.com也在谷歌搜索中被编入索引Dns 如何禁止我的子域从谷歌爬虫索引时。,dns,subdomain,Dns,Subdomain,这是我的疑问。我有一个名为www.example.com的网站,它在谷歌搜索引擎中建立了索引。其中beta.example.com是我的测试子域。现在,beta.example.com也在谷歌搜索中被编入索引 请你们中的任何一位帮助我。在您的子域中放置robots.txt文件 这是一个棘手的问题。您可能需要使用一些.htaccess欺骗 RewriteEngine on RewriteCond %{HTTP_HOST} ^beta.example.com$ RewriteRule ^robotx
请你们中的任何一位帮助我。在您的子域中放置robots.txt文件 这是一个棘手的问题。您可能需要使用一些.htaccess欺骗
RewriteEngine on
RewriteCond %{HTTP_HOST} ^beta.example.com$
RewriteRule ^robotx\.txt$ robots-beta.txt
然后添加:
User-agent: *
Disallow: /
到robots-beta.txt文件
这应该会将所有爬虫(尊重robots.txt的爬虫)发送到带有“Disallow:/”的正确文件中,如果它们来自您的站点的beta子域。Hi seff,让我用一个例子解释一下,对于www.example.com,目录路径是var/www/public html,对于beta.example.com,目录路径是var/beta/public html。www.example.com和beta.example.com共享相同的文件。现在,v如何解决这个问题呢?你还应该使用谷歌网站管理员来删除你的子域列表。