Indexing 阻止搜索引擎为我的api编制索引

我的api位于api.website.com，不需要身份验证

我正在寻找一种方法，禁止谷歌为我的api编制索引

有没有办法做到这一点

我已经在api.website.com/robots.txt上对我的机器人进行了禁止 但这恰恰阻止了谷歌对其进行爬网

User-agent: *
Disallow: /

通常的方法是删除不允许，并添加一个noindex元标记，但它是一个API，因此没有元标记或任何东西

---

还有其他方法吗？

奇怪的是，谷歌忽略了你的/robots.txt文件。尝试在根web目录中删除index.html文件，并在网页的

…

标记之间添加以下内容

<meta name="robots" content="noindex, nofollow">

---

似乎有一种方法可以在api调用上添加noindex

看这里

在这两个页面上推荐的解决方案是向不希望索引的页面添加noindex meta标记。（X-Robots-Tag HTTP头应该也适用于非HTML页面。不过，我不确定它是否适用于重定向。）矛盾的是，这意味着您必须允许Googlebot对这些页面进行爬网（或者完全从Robots.txt中删除它们，或者为Googlebot添加一组单独的、更宽松的规则），否则，它首先就看不到meta标记

---

你可能有更好的机会得到帮助。参见例如，或。虽然可能会看到堆栈溢出。我不认为OP是说谷歌忽略了robots.txt。OP的意思是robots.txt阻止爬行，但它不阻止索引（这是正确的）。