Seo 如何使用robots.txt停止robots爬行分页？

我的网站上有各种各样的分页，我想阻止谷歌和其他搜索引擎抓取我的分页索引

已爬网页面的示例：

http://www.mydomain.com/explore/recently-updated/index/12

---

如果您在根web目录下使用以下内容创建robots.txt文件，我认为如何使用robots.txt拒绝robots对包含/index/？的任何页面进行爬网

User-agent: *
Disallow: /explore/recently-updated/index/

---

尝试一下，然后使用某人（可能是谷歌的）机器人检查器来确保它被停止。

我相信如果您在根web目录中创建robots.txt文件，并使用以下内容：

User-agent: *
Disallow: /explore/recently-updated/index/

Disallow: /*?page=
Disallow: /*&page=

尝试一下，然后使用某人（可能是谷歌的）机器人检查器来确保它被停止

Disallow: /*?page=
Disallow: /*&page=