PHP:如何基于Javascript抓取网站内容

PHP:如何基于Javascript抓取网站内容,javascript,php,curl,web-scraping,noscript,Javascript,Php,Curl,Web Scraping,Noscript,我正在尝试使用PHP simplehtmldom库获取此网站的内容 " 它不起作用,所以我尝试使用CURL: function curl_get_file_contents($URL) { $c = curl_init(); curl_setopt($c, CURLOPT_RETURNTRANSFER, 1); curl_setopt($c, CURLOPT_URL, $URL); $contents = curl_exec($c); curl_close

我正在尝试使用PHP simplehtmldom库获取此网站的内容

"

它不起作用,所以我尝试使用CURL:

function curl_get_file_contents($URL)
{
    $c = curl_init();
    curl_setopt($c, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($c, CURLOPT_URL, $URL);
    $contents = curl_exec($c);
    curl_close($c);

    if ($contents) return $contents;
    else return FALSE;
}
但始终只能通过一些JS代码和内容获得响应:

<noscript>Please enable JavaScript to view the page content.</noscript>
请启用JavaScript以查看页面内容。
有没有可能用PHP解决这个问题?在这种情况下我必须使用PHP,所以我需要模拟基于JS的浏览器

非常感谢你的建议

在这种情况下,我必须使用PHP,所以我需要模拟基于JS的浏览器

我向您推荐两种方式:

  • 在抓取时,利用此工具处理站点的js。请参阅使用示例
  • 通过使用iMacros或webRobots.io Chrome ext模拟基于JS的浏览器。但在这种情况下,您不需要编写PHP脚本

  • @redrom,谢谢你检查我的答案,你能分享一下这两个选项中有什么帮助了你吗?你是如何应用它的?我问你这个问题,因为我做网页抓取研究,然后将结果发布到scraping.pro博客上。任何反馈都将是值得欣赏的!