Web 无法在php中使用CURL刮取整个网页

Web 无法在php中使用CURL刮取整个网页,web,curl,web-scraping,php-curl,Web,Curl,Web Scraping,Php Curl,我在php中使用CURL从一些外部站点或URL提取web内容 当我将其用于包含较少html元素的小页面时,脚本会被100%提取(即:-),但当我尝试提取具有较大结果的表单站点(如一些google站点或一些媒体站点(如reddit))时,我会得到较少的内容,输出不是完整的web内容 <?php $url= "example.com?somepara=value"; $fh=fopen("scrape.txt","w"); fwri

我在php中使用CURL从一些外部站点或URL提取web内容

当我将其用于包含较少html元素的小页面时,脚本会被100%提取(即:-),但当我尝试提取具有较大结果的表单站点(如一些google站点或一些媒体站点(如reddit))时,我会得到较少的内容,输出不是完整的web内容

<?php 
$url= "example.com?somepara=value";
$fh=fopen("scrape.txt","w");
fwrite($fh,curl_get_contents($url));
fclose($fh);

function curl_get_contents($url)
{
  $ch = curl_init($url);
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
  curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
  curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, 0);
  curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 0);
  $data = curl_exec($ch);
  curl_close($ch);
  return $data;
}

?>

在这段代码之后,当我检查scrape.txt时,我看到网页以一些
而不是结尾,当我检查页面时,我看到70%的内容

如果整个页面很大,或者是否需要修剪某些元素,如何提取整个页面