Warning: file_get_contents(/data/phpspider/zhask/data//catemap/5/url/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python Facebook url在scrapy中返回移动版本url响应_Python_Url_Scrapy - Fatal编程技术网

Python Facebook url在scrapy中返回移动版本url响应

Python Facebook url在scrapy中返回移动版本url响应,python,url,scrapy,Python,Url,Scrapy,我有一个问题,也许是它的味道,但我想知道 我试图通过scrapy通过URlwww.facebook.com访问facebook。我在开始时就给了它。运行之后,我得到的响应是http://m.facebook.com/?refsrc=http%3A%2F%2Fwww.facebook.com%2F&_rdr,当我们在浏览器中打开此url时,我可以预期这是facebook的移动视图。那么,为什么响应是移动视图,而不是我们在桌面上打开时能够看到的一般视图呢 提前感谢 有一个全局设置: 更新: 你知道,

我有一个问题,也许是它的味道,但我想知道

我试图通过scrapy通过URl
www.facebook.com
访问facebook。我在开始时就给了它。运行之后,我得到的响应是
http://m.facebook.com/?refsrc=http%3A%2F%2Fwww.facebook.com%2F&_rdr
,当我们在浏览器中打开此url时,我可以预期这是facebook的移动视图。那么,为什么响应是移动视图,而不是我们在桌面上打开时能够看到的一般视图呢


提前感谢

有一个全局设置:

更新:

你知道,也许手机版毕竟是一个优势。当无法执行javascript时,其他站点将浏览器重定向到其他页面:

<noscript> <meta http-equiv="refresh" content="0; URL=/homedepot?_fb_noscript=1" /> </noscript>

处理无js版本或移动版本的站点意味着页面的大小和页面上的附加信息更少——因此html不会随着时间的推移发生太大变化,xpath查询仍然有效


在这种情况下,只需在Firefox中禁用JS或在其中设置不同的用户代理,即可获得与scrapy相同的页面。以下是关于如何使用Firefox测试scrapy的更多提示:

尝试检查userAgent字符串。。我猜,如果facebook将useragent检测为移动浏览器,它通常会重定向到
http://m.facebook.com
@avinash:谢谢您的回复,很抱歉我没有收到“检查userAgent字符串”?