用于具有ajax内容和https的网站的php爬虫程序

用于具有ajax内容和https的网站的php爬虫程序,php,ajax,curl,web-crawler,Php,Ajax,Curl,Web Crawler,我试图抓取一个基于ajax和https的网站的内容,但运气不好 这可能吗 我尝试爬网的网站如下: 谢谢如果您查看一下此页面正在执行的HTTP请求(例如使用Firefox的Firebug),您会注意到它发出了几个Ajax请求 与其尝试执行Javascript代码,一个可能的解决方案是,您可以请求其中一个URL,然后获取数据——这样您也不必解析HTML 在此特定情况下,向以下URL发出其中一个请求: https://www.bet3000.com/ajax/en/sportsbook.json.

我试图抓取一个基于ajax和https的网站的内容,但运气不好

这可能吗

我尝试爬网的网站如下:


谢谢

如果您查看一下此页面正在执行的HTTP请求(例如使用Firefox的Firebug),您会注意到它发出了几个Ajax请求

与其尝试执行Javascript代码,一个可能的解决方案是,您可以请求其中一个URL,然后获取数据——这样您也不必解析HTML


在此特定情况下,向以下URL发出其中一个请求:

https://www.bet3000.com/ajax/en/sportsbook.json.html?category_id=2117&offset=&live=&sportsbook_id=0
这个URL似乎返回了一些JSON数据,这应该会让您非常感兴趣;-)

(JSON前后有几个字符需要删除,但除此之外,我没有看到任何不好的地方。)

Hi:)我试图获取该url的内容,但没有成功。我使用了curl和file_get_内容,但得到的是空值,但如果我将该url放在浏览器中,就会得到结果。。。我怎样才能得到这些内容?谢谢?好的;我做到了。。。函数文件_get_contents_curl($url){$ch=curl_init();curl_setopt($ch,CURLOPT_HEADER,0);curl_setopt($ch,CURLOPT_VERBOSE,1);curl_setopt($ch,CURLOPT_SSL_VERIFYPEER,0);curl_setopt($ch,CURLOPT_SSL_VERIFYHOST,0);curl_setopt($ch,CURLOPT,CURLOPT,CURLOPT_-url,$url);curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);$res=curl_exec($ch);curl_close($ch);return$res;}