Html 如何阻止机器人爬行或索引有角度的应用程序

我想发布一个Angular应用程序进行测试，但我想确保该站点不会被机器人抓取或索引

我想（可能有点不对劲！）我会简单地在index.html页面上添加

标记，然后在我的根目录中添加robots.txt文件

这些是我的元标记：

<meta name="robots" content="noindex,nofollow">
<meta name="googlebot" content="noindex" />

User-agent: *
Disallow: /

---

提前谢谢你

使用您指定的robots.txt文件将足以防止您的站点被后续的bot编入索引。使用这个robots.txt，您不需要指定元标题，因为bot首先读取robots.txt，并且不会解析网站的HTML来读取元标记

meta标记用于robots.txt文件通常允许索引该页面，但您希望在页面级别将其排除，从而允许更精细的选择

---

请注意，一些不常见的爬虫可能不遵守排除标准。如果您真的想限制对测试站点的访问，则应考虑仅在验证之后才允许访问，或者仅允许访问某些IP地址。同时你可以结帐。在托管站点中设置一些规则来阻止IP访问您的站点。