Seo 有什么办法既能防止爬行又能防止爬行？

我创建了一个新网站，我不希望它被搜索引擎抓取，也不希望出现在搜索结果中

我已经创建了robots.txt

User-agent: *
Disallow: /

我有一个html页面。我想用

<meta name="robots" content="noindex">

但谷歌页面表示，当一个页面没有被robots.txt阻止时，应该使用它，因为robots.txt根本看不到noindex标记

---

有什么方法可以同时使用noindex和robots.txt吗？

有两种解决方案，它们都不优雅

你是正确的，即使你

不允许：/

，你的URL可能仍然会出现在搜索结果中，很可能没有元描述和谷歌生成的标题

假设您只是暂时这样做，推荐的方法是在您的站点前面。这并不好，因为用户必须输入基本的用户名和密码，但这将防止您的站点被爬网和索引

如果您不能或不想将基本身份验证放在站点前面，另一种选择是仍然在Robots.txt文件中

禁止：/

，并使用谷歌搜索控制台定期清除谷歌索引，请求从索引中删除该站点

这在很多方面都不雅观

您必须监视搜索结果，以查看URL是否被索引

您必须在谷歌搜索控制台中手动请求删除

谷歌真的不打算以这种方式使用删除功能，谁知道随着时间的推移，他们是否会开始忽略你的请求。但我想它实际上会继续工作，即使他们希望你不要那样使用它