Ruby on rails 4 阻塞？页面=在robots.txt中
基本上，谷歌正在尝试为数千篇看起来像这样的文章编制索引：Ruby on rails 4 阻塞？页面=在robots.txt中,ruby-on-rails-4,seo,robots.txt,Ruby On Rails 4,Seo,Robots.txt,基本上，谷歌正在尝试为数千篇看起来像这样的文章编制索引： /questions/鸡蛋对你有害吗？page=69 由于我的分页和无限滚动，URL的范围从page=1到page=99 如何在我的robots.txt文件中只包含url的？page=部分，这样它就不会索引任何带有页码的内容 不确定这是否是问这个问题的正确地点，但我很难找到答案。谢谢。对于谷歌，最好通过爬网->URL参数： 添加一个参数页面，将其效果选择为分页，并仅爬行值=1 阅读更多关于的信息，我投票将这个问题作为主题外的问题结束，因
/questions/鸡蛋对你有害吗？page=69page=1page=99？page=不确定这是否是问这个问题的正确地点，但我很难找到答案。谢谢。对于谷歌，最好通过爬网->URL参数： 添加一个参数
页面分页值=1阅读更多关于的信息，我投票将这个问题作为主题外的问题结束，因为它是关于搜索引擎优化的