SEO-robots.txt不允许文件夹

robots.txt中的这两行能否成功阻止谷歌使用类似于：产品标签的url为页面编制索引

User-agent: *
Disallow: /product-tag/
Disallow: /product-tag/*

因为我有一个谷歌索引这些网页的问题，我找不到另一种方法来阻止它

---

要在搜索引擎中看到robots.txt中的更改需要多长时间？

robots.txt将阻止谷歌抓取您的网站。不一定是因为索引。特别是如果它已经为它编制了索引，则不会删除它

相反，您应该在页面的头部HTML中添加一个标记，然后允许Google重新爬网页面以查看此内容（即使用robots.txt执行而不是阻止）。在所有页面退出谷歌（这可能需要一些时间）后，如果您愿意，可以使用robots.txt阻止它

robots.txt的主要原因和好处是阻止谷歌浪费时间查看这些页面。每个网站都分配了一个爬网预算，因此谷歌每天只对一定数量的页面重新编制索引。所以如果它浪费了很多时间的话 预算你不想索引的页面，那么它就不会让你想索引的页面保持最新

此外，您不应该依赖robots.txt来隐藏敏感文件，因为某些爬虫程序（尽管不是谷歌）可能会忽略它

最后，如果您的产品已经被索引，并且这些页面是重复的，这就是为什么您不希望它们被索引的原因，那么您可以在头代码中使用a来指向真实页面，而不是noindex。

1。是的（但是你可以去掉最后一行）。2.和谷歌为你的页面重新编制索引所花费的时间一样多。您可能想注册（我不记得您可以在那里申请重新索引）相关的：