Seo robots.txt：如何禁止动态文件夹的子文件夹

我有如下网址： /产品/：产品编号/交易/新 /产品/：产品id/交易/索引

我想禁止我的robots.txt文件中的“deals”文件夹

[编辑]我不允许Google、Yahoo和Bing机器人使用此文件夹。有人知道这些机器人程序是否支持通配符，是否支持以下规则吗

Disallow: /products/*/deals

还有。。。你有关于robots.txt规则的很好的图图吗？由于我没有找到一个“真正”好的，我可以用一个

还有最后一个问题： robots.txt是处理此问题的最佳方法吗？还是我应该更好地使用“noindex”元

---

谢谢大家！：）

是的，所有主要搜索引擎都支持基本通配符

*

，您的解决方案将禁止您的交易目录

了解robots.txt的最好地方是。它提供了大量的例子，说明了什么是有效的，什么是无效的。例如，许多人不知道robots.txt文件是特定于协议的。因此，如果您想阻止

https

连接上的页面，您需要确保在

您还可以在应用新的robots.txt文件之前对其进行测试。基本上，在部署之前，您可以使用搜索引擎验证它是否实际工作

关于用robots.txt阻止某些内容，或者只是在页面中添加一个noindex，我更倾向于在大多数情况下使用noindex，除非我知道我根本不希望搜索引擎在我的网站的该部分爬行

有一些权衡。当你完全屏蔽搜索引擎时，你可以节省一些“爬网预算”。所以搜索引擎会抓取其他页面，然后在你不想让他们访问的页面上“浪费”时间。但是，这些URL仍然可以出现在搜索结果中

---

如果您绝对不希望这些页面有任何搜索引用流量，那么最好使用noindex指令。此外，如果您经常链接到deals页面，noindex不仅会将其从搜索结果中删除，而且任何链接值/PageRank都可以在这些页面中流动，并相应地进行计算。如果你阻止它们被爬网，这有点像黑洞。

如果你不确定robots.txt中的语法是否正确，你可以测试它（看看是否有任何错误）。此外，您可以输入页面URL，工具将告诉您根据robots.txt是否应该阻止该页面。

原始robots.txt规范不支持通配符（如示例中的

*

）。然而，一些解析器支持它们（但我想它们在实现上有所不同）。哦，太糟糕了：（好吧，那么！我想我必须使用meta标记，对吧？：）是的。或者，如果您只对主要的搜索引擎感兴趣，您可以查看它们的文档，看看它们是否/如何支持robots.txt中的通配符（例如，谷歌似乎支持它们）。您可以更新您的问题，以包括您感兴趣的机器人/搜索引擎。谢谢您的建议！我来看看这些文件。：）多么奇妙的回答啊！正是我需要的解释！非常感谢你！！没问题，我很乐意：）