Web services Robots.txt：不允许文件夹'；s的名称，无论它显示在哪个深度

因此，我不得不禁止搜索引擎为我们的REST web服务响应编制索引（这是一个Sitecore网站）；它们在URL中都有相同的名称，但在服务器层次结构中显示在不同的级别，我想知道我是否可以在robots文件中编写一个“catch all”条目，或者我是否注定要编写一个广泛的列表

我可以添加一些类似的内容吗

Disallow: */ajax/*

---

要捕获所有名为“ajax”的文件夹，无论它们出现在何处？

您应该能够使用

禁用：/*ajax

。类似的问题在这里：

---

robots.txt

规范没有提到任何通配符，但Google（）和Bing允许在robots.txt文件中使用通配符

Disallow: */ajax/*

---

无论

/ajax/

的嵌套级别是什么，您的

禁止

对所有

/ajax/

URL都有效。因为匹配在左边，所以*/ajax/不是等价的吗？

*/ajax/

应该足够了。您可能希望使用例如来检查它。这不仅会阻止/ajax/目录，还会阻止任何包含“ajax”一词的内容，例如。