Python Facebook url在scrapy中返回移动版本url响应
我有一个问题,也许是它的味道,但我想知道 我试图通过scrapy通过URlPython Facebook url在scrapy中返回移动版本url响应,python,url,scrapy,Python,Url,Scrapy,我有一个问题,也许是它的味道,但我想知道 我试图通过scrapy通过URlwww.facebook.com访问facebook。我在开始时就给了它。运行之后,我得到的响应是http://m.facebook.com/?refsrc=http%3A%2F%2Fwww.facebook.com%2F&_rdr,当我们在浏览器中打开此url时,我可以预期这是facebook的移动视图。那么,为什么响应是移动视图,而不是我们在桌面上打开时能够看到的一般视图呢 提前感谢 有一个全局设置: 更新: 你知道,
www.facebook.com
访问facebook。我在开始时就给了它。运行之后,我得到的响应是http://m.facebook.com/?refsrc=http%3A%2F%2Fwww.facebook.com%2F&_rdr
,当我们在浏览器中打开此url时,我可以预期这是facebook的移动视图。那么,为什么响应是移动视图,而不是我们在桌面上打开时能够看到的一般视图呢
提前感谢 有一个全局设置: 更新: 你知道,也许手机版毕竟是一个优势。当无法执行javascript时,其他站点将浏览器重定向到其他页面:
<noscript> <meta http-equiv="refresh" content="0; URL=/homedepot?_fb_noscript=1" /> </noscript>
处理无js版本或移动版本的站点意味着页面的大小和页面上的附加信息更少——因此html不会随着时间的推移发生太大变化,xpath查询仍然有效
在这种情况下,只需在Firefox中禁用JS或在其中设置不同的用户代理,即可获得与scrapy相同的页面。以下是关于如何使用Firefox测试scrapy的更多提示:尝试检查userAgent字符串。。我猜,如果facebook将useragent检测为移动浏览器,它通常会重定向到
http://m.facebook.com
@avinash:谢谢您的回复,很抱歉我没有收到“检查userAgent字符串”?