用curl刮PHP-如何调试
几个小时前我才知道什么是刮痧和卷曲，从那以后我就开始玩这个了。然而，我现在面临着一些奇怪的事情。下面的代码适用于某些站点，而不适用于其他站点（当然，我修改了url和xpath…）。请注意，在测试curl_exec是否正确执行时，没有出现任何错误。因此，问题一定来自于某个地方。我的问题如下：用curl刮PHP-如何调试,php,curl,screen-scraping,Php,Curl,Screen Scraping,几个小时前我才知道什么是刮痧和卷曲，从那以后我就开始玩这个了。然而，我现在面临着一些奇怪的事情。下面的代码适用于某些站点，而不适用于其他站点（当然，我修改了url和xpath…）。请注意，在测试curl_exec是否正确执行时，没有出现任何错误。因此，问题一定来自于某个地方。我的问题如下： 如何检查新文档是否已正确创建：if（？） 如何检查新的DOMDocument是否已正确填充html …是否已创建新的DOMXPath对象 希望我是清楚的。提前感谢您的回复。干杯马克 我的php： <?p
<?php
$target_url = "http://www.somesite.com";
$userAgent = 'Googlebot/2.1 (http://www.googlebot.com/bot.html)';
// make the cURL request to $target_url
$ch = curl_init();
curl_setopt($ch, CURLOPT_USERAGENT, $userAgent);
curl_setopt($ch, CURLOPT_URL,$target_url);
curl_setopt($ch, CURLOPT_FAILONERROR, true);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
curl_setopt($ch, CURLOPT_AUTOREFERER, true);
curl_setopt($ch, CURLOPT_RETURNTRANSFER,true);
curl_setopt($ch, CURLOPT_TIMEOUT, 10);
$html= curl_exec($ch);
if (!$html) {
echo "<br />cURL error number:" .curl_errno($ch);
echo "<br />cURL error:" . curl_error($ch);
exit;
}
// parse the html into a DOMDocument
$dom = new DOMDocument();
@$dom->loadHTML($html);
// grab all the on the page
$xpath = new DOMXPath($dom);
$hrefs = $xpath->query('somepath');
for ($i = 0; $i < $hrefs->length; $i++) {
$href = $hrefs->item($i);
$url = $href->getAttribute('href');
echo "<br />Link: $url";
}
?>
使用try/catch检查文档对象是否已创建，然后检查loadHTML（）的返回值以确定HTML是否已加载到文档中。您也可以在XPath对象上使用try/catch
try
{
$dom = new DOMDocument();
$loaded = $dom->loadHTML($html);
if($loaded)
{
// loaded OK
}
else
{
// could not load HTML
}
}
catch(Exception $e)
{
// document could not be created, see $e->getMessage()
}
问题解决了。错误来自firebug，他给出了错误的路径。非常感谢MrCode的支持…+1没有使用reg-ex“解析”HTML。为了检测错误，请检查相应的返回值，并可能删除抑制运算符
@curl\u exec（）CURLINFO\u HTTP\u code标题