PHP:如何基于Javascript抓取网站内容
我正在尝试使用PHP simplehtmldom库获取此网站的内容 " 它不起作用,所以我尝试使用CURL:PHP:如何基于Javascript抓取网站内容,javascript,php,curl,web-scraping,noscript,Javascript,Php,Curl,Web Scraping,Noscript,我正在尝试使用PHP simplehtmldom库获取此网站的内容 " 它不起作用,所以我尝试使用CURL: function curl_get_file_contents($URL) { $c = curl_init(); curl_setopt($c, CURLOPT_RETURNTRANSFER, 1); curl_setopt($c, CURLOPT_URL, $URL); $contents = curl_exec($c); curl_close
function curl_get_file_contents($URL)
{
$c = curl_init();
curl_setopt($c, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($c, CURLOPT_URL, $URL);
$contents = curl_exec($c);
curl_close($c);
if ($contents) return $contents;
else return FALSE;
}
但始终只能通过一些JS代码和内容获得响应:
<noscript>Please enable JavaScript to view the page content.</noscript>
请启用JavaScript以查看页面内容。
有没有可能用PHP解决这个问题?在这种情况下我必须使用PHP,所以我需要模拟基于JS的浏览器
非常感谢你的建议
在这种情况下,我必须使用PHP,所以我需要模拟基于JS的浏览器
我向您推荐两种方式:
@redrom,谢谢你检查我的答案,你能分享一下这两个选项中有什么帮助了你吗?你是如何应用它的?我问你这个问题,因为我做网页抓取研究,然后将结果发布到scraping.pro博客上。任何反馈都将是值得欣赏的!