Web 无法在php中使用CURL刮取整个网页
我在php中使用CURL从一些外部站点或URL提取web内容 当我将其用于包含较少html元素的小页面时,脚本会被100%提取(即:-),但当我尝试提取具有较大结果的表单站点(如一些google站点或一些媒体站点(如reddit))时,我会得到较少的内容,输出不是完整的web内容Web 无法在php中使用CURL刮取整个网页,web,curl,web-scraping,php-curl,Web,Curl,Web Scraping,Php Curl,我在php中使用CURL从一些外部站点或URL提取web内容 当我将其用于包含较少html元素的小页面时,脚本会被100%提取(即:-),但当我尝试提取具有较大结果的表单站点(如一些google站点或一些媒体站点(如reddit))时,我会得到较少的内容,输出不是完整的web内容 <?php $url= "example.com?somepara=value"; $fh=fopen("scrape.txt","w"); fwri
<?php
$url= "example.com?somepara=value";
$fh=fopen("scrape.txt","w");
fwrite($fh,curl_get_contents($url));
fclose($fh);
function curl_get_contents($url)
{
$ch = curl_init($url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, 0);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 0);
$data = curl_exec($ch);
curl_close($ch);
return $data;
}
?>
在这段代码之后,当我检查scrape.txt时,我看到网页以一些