Seo 如何忽略我网站中的一些链接?

Seo 如何忽略我网站中的一些链接?,seo,robots.txt,Seo,Robots.txt,我正在编写一个小的php脚本,我有一些这样的链接 *-phones-*.html *我想禁止谷歌使用robots.txt索引此类链接,这是可能的吗?你没有禁止任何东西。robots.txt只是一套供网络爬虫者使用的指南,他们可以选择是否遵循这些指南 粗鲁的爬虫当然应该被IP禁止。但是你不能避免网络爬虫可能会看到这个页面。无论如何,你可以把它添加到你的robots.txt中,谷歌的webcrawler可能会遵守

我正在编写一个小的php脚本,我有一些这样的链接

*-phones-*.html

*我想禁止谷歌使用robots.txt索引此类链接,这是可能的吗?

你没有禁止任何东西。robots.txt只是一套供网络爬虫者使用的指南,他们可以选择是否遵循这些指南

粗鲁的爬虫当然应该被IP禁止。但是你不能避免网络爬虫可能会看到这个页面。无论如何,你可以把它添加到你的robots.txt中,谷歌的webcrawler可能会遵守