Warning: file_get_contents(/data/phpspider/zhask/data//catemap/4/json/13.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
需要JavaScript支持的页面上的cURL请求_Javascript_Cookies_Curl_Web Scraping_Spoofing - Fatal编程技术网

需要JavaScript支持的页面上的cURL请求

需要JavaScript支持的页面上的cURL请求,javascript,cookies,curl,web-scraping,spoofing,Javascript,Cookies,Curl,Web Scraping,Spoofing,我需要获取pinnaclesports.com的HTML源代码。问题是它检测cookies和JS是否被启用,如果没有启用,它只返回一些页面 此站点需要启用JavaScript和Cookie。请更改浏览器设置或升级浏览器 在使用cURL时,有没有办法欺骗JS支持 编辑:我可以使用无头浏览器,它既可以作为Perl/Ruby模块运行,也可以用PHP编写, 如果您发出无cookie请求,将返回一个页面,该页面使用javascript设置cookie,即使用curl获得的cookie 再打一个这样的电话

我需要获取pinnaclesports.com的HTML源代码。问题是它检测cookies和JS是否被启用,如果没有启用,它只返回一些页面

此站点需要启用JavaScript和Cookie。请更改浏览器设置或升级浏览器

在使用cURL时,有没有办法欺骗JS支持

编辑:我可以使用无头浏览器,它既可以作为Perl/Ruby模块运行,也可以用PHP编写, 如果您发出无cookie请求,将返回一个页面,该页面使用javascript设置cookie,即使用curl获得的cookie

再打一个这样的电话

curl https://www.pinnaclesports.com/ --cookie "YPF8827340282Jdskjhfiw_928937459182JAX666=122.167.231.139"
i、 你必须打两个电话 1) 进行无cookie调用、读取和正则表达式以查找cookiename。 2) 设置cokie名称后提出第二个请求。 那会解决你的问题


只需使用YQL

select * from html where url="https://www.pinnaclesports.com/" 

将您的curl指向

其他sugestion设置为用户代理,此解决方案在Google组的解析器上对我有效:

curl -L -v "https://groups.google.com/d/forum/<GROUP-NAME>" -A "Mozilla/5.0 (compatible;  MSIE 7.01; Windows NT 5.0)"
curl-L-v”https://groups.google.com/d/forum/-“Mozilla/5.0(兼容;MSIE 7.01;Windows NT 5.0)”

您需要一个无头浏览器;难道你不知道一个简单的PHP库可以在PHP5.2上运行吗?Barebones看起来很有希望,不幸的是,它似乎不能解决JS问题。只需为你的curl请求、用户代理和such@Ibu:你是说页眉('Location:…?您能更具体一点吗?谢谢!您描述的方法很有效。YQL解决方案可能也很有用,但我需要进一步与源代码合作以发出登录请求,因此使用前一种方法可能更好。我也处于同样的困境。我在上面阅读了您的解决方案,但不知道如何找到cookie名称和h如何在第二个curl请求中使用它。在这方面的任何帮助都将不胜感激。