需要JavaScript支持的页面上的cURL请求
我需要获取pinnaclesports.com的HTML源代码。问题是它检测cookies和JS是否被启用,如果没有启用,它只返回一些页面 此站点需要启用JavaScript和Cookie。请更改浏览器设置或升级浏览器 在使用cURL时,有没有办法欺骗JS支持 编辑:我可以使用无头浏览器,它既可以作为Perl/Ruby模块运行,也可以用PHP编写, 如果您发出无cookie请求,将返回一个页面,该页面使用javascript设置cookie,即使用curl获得的cookie 再打一个这样的电话需要JavaScript支持的页面上的cURL请求,javascript,cookies,curl,web-scraping,spoofing,Javascript,Cookies,Curl,Web Scraping,Spoofing,我需要获取pinnaclesports.com的HTML源代码。问题是它检测cookies和JS是否被启用,如果没有启用,它只返回一些页面 此站点需要启用JavaScript和Cookie。请更改浏览器设置或升级浏览器 在使用cURL时,有没有办法欺骗JS支持 编辑:我可以使用无头浏览器,它既可以作为Perl/Ruby模块运行,也可以用PHP编写, 如果您发出无cookie请求,将返回一个页面,该页面使用javascript设置cookie,即使用curl获得的cookie 再打一个这样的电话
curl https://www.pinnaclesports.com/ --cookie "YPF8827340282Jdskjhfiw_928937459182JAX666=122.167.231.139"
i、 你必须打两个电话
1) 进行无cookie调用、读取和正则表达式以查找cookiename。
2) 设置cokie名称后提出第二个请求。
那会解决你的问题
或只需使用YQL
select * from html where url="https://www.pinnaclesports.com/"
将您的curl指向其他sugestion设置为用户代理,此解决方案在Google组的解析器上对我有效:
curl -L -v "https://groups.google.com/d/forum/<GROUP-NAME>" -A "Mozilla/5.0 (compatible; MSIE 7.01; Windows NT 5.0)"
curl-L-v”https://groups.google.com/d/forum/-“Mozilla/5.0(兼容;MSIE 7.01;Windows NT 5.0)”
您需要一个无头浏览器;难道你不知道一个简单的PHP库可以在PHP5.2上运行吗?Barebones看起来很有希望,不幸的是,它似乎不能解决JS问题。只需为你的curl请求、用户代理和such@Ibu:你是说页眉('Location:…?您能更具体一点吗?谢谢!您描述的方法很有效。YQL解决方案可能也很有用,但我需要进一步与源代码合作以发出登录请求,因此使用前一种方法可能更好。我也处于同样的困境。我在上面阅读了您的解决方案,但不知道如何找到cookie名称和h如何在第二个curl请求中使用它。在这方面的任何帮助都将不胜感激。