Http 基于查询字符串的永久重定向(301)
考虑一个必须通过以下格式支持传统URL的网站:Http 基于查询字符串的永久重定向(301),http,redirect,Http,Redirect,考虑一个必须通过以下格式支持传统URL的网站: http://example.com/?some_param=value --> http://example.com/value 尽管根页面功能齐全,而且从不以其他方式重定向 基本上,根据查询参数重定向到内部页面。如果缺少参数,则一次将请求视为标准,而不是重定向 仅基于查询字符串永久重定向(HTTP 301)是否可以接受?爬网机器人是否正确区分了这两种情况?如果请求返回HTTP 301响应,“爬网机器人”应递归爬网,直到识别出可能的无限循
http://example.com/?some_param=value --> http://example.com/value
尽管根页面功能齐全,而且从不以其他方式重定向
基本上,根据查询参数重定向到内部页面。如果缺少参数,则一次将请求视为标准,而不是重定向
仅基于查询字符串永久重定向(HTTP 301)是否可以接受?爬网机器人是否正确区分了这两种情况?如果请求返回HTTP 301响应,“爬网机器人”应递归爬网,直到识别出可能的无限循环或接收到非重定向响应 尤其是搜索引擎,当请求HTTP 301时,通常只存储返回HTTP 20x的内容的响应 话虽如此,爬行行为将明显不同,这取决于实现