.htaccess 搜索引擎上的域名隐私
我希望使我的域名,文件夹和子文件夹不会出现在谷歌或其他搜索引擎。我已经将robots.txt添加到我网站的每个文件夹中,但当我搜索它时,该域仍会出现 我没有任何元标记。我可以对元数据和htaccess文件做些什么来禁止它“可搜索”吗.htaccess 搜索引擎上的域名隐私,.htaccess,search,dns,meta,.htaccess,Search,Dns,Meta,我希望使我的域名,文件夹和子文件夹不会出现在谷歌或其他搜索引擎。我已经将robots.txt添加到我网站的每个文件夹中,但当我搜索它时,该域仍会出现 我没有任何元标记。我可以对元数据和htaccess文件做些什么来禁止它“可搜索”吗 干杯。在您的站点的顶层应该只有一个robots.txt。蜘蛛不会在subdirs中寻找它。感谢@MarcB的澄清-有没有其他方法阻止它出现在谷歌上?谷歌遵守robots.txt。如果您在google对站点进行爬网后添加了.txt文件,则必须等待下一次爬网,以便他们捕
干杯。在您的站点的顶层应该只有一个robots.txt。蜘蛛不会在subdirs中寻找它。感谢@MarcB的澄清-有没有其他方法阻止它出现在谷歌上?谷歌遵守robots.txt。如果您在google对站点进行爬网后添加了.txt文件,则必须等待下一次爬网,以便他们捕获新的robots.txt,或者使用以下页面: