Seo 使用robots.txt阻止来自搜索引擎的100个url

我的网站上有大约100个页面，我不想在谷歌上被索引…有没有办法用robots.txt阻止它…编辑每个页面并添加noindex meta标记会很累人

我想阻止的所有URL都像

www.example.com/index-01.html

www.example.com/index-02.html

www.example.com/index-03.html

www.example.com/index-04.html

。 .

www.example.com/index-100.html

不确定，但添加类似于以下内容的内容是否有效

User-Agent: *
Disallow: /index-*.html

---

通配符在

Disallow:

行中不起作用，但您可以添加100行

Disallow:

行（每个URL一行）。这样做有什么问题？这个问题似乎是离题的，因为它不在帮助中心所描述的讨论范围内。@smarx关于

Disallow

不适用于通配符的陈述是基于什么信息的，您对此有何看法？@classstacker:“还要注意，在用户代理或不允许行中都不支持globbing和正则表达式。“你链接到的页面只谈到谷歌提供的非标准通配符支持。@我相信是smarx。从我所能找到的来看，谷歌支持这些，但它们是非标准的，不一定受其他爬虫的支持。使用一些在线工具，你可以验证你的robots.txt规则是否受谷歌机器人的支持，我只是想阻止谷歌建立索引，非常感谢你的帮助。robots.txt不会阻止建立索引，因此不会实现你想要的。Robots.txt阻止爬行。阅读此>

Yes it will work using wildcard

Ref : "https://geoffkenyon.com/how-to-use-wildcards-robots-txt"