simple_html_dom.php内存问题
我试图使用simple_html_dom.php 1.5版编写一个爬虫程序,但它似乎出于未知原因泄漏内存。我尝试了1.5,因为他们声称有修复内存泄漏的帮助将不胜感激。 重复40次循环后,我得到以下信息simple_html_dom.php内存问题,php,Php,我试图使用simple_html_dom.php 1.5版编写一个爬虫程序,但它似乎出于未知原因泄漏内存。我尝试了1.5,因为他们声称有修复内存泄漏的帮助将不胜感激。 重复40次循环后,我得到以下信息 Fatal error: Allowed memory size of 268435456 bytes exhausted (tried to allocate 8388608 bytes) in C:\work\simple_html_dom.php on line 1078 <?p
Fatal error: Allowed memory size of 268435456 bytes exhausted (tried to allocate 8388608 bytes) in C:\work\simple_html_dom.php on line 1078
<?php
/**
* ******************TESTING*************************
*/
include("simple_html_dom.php");
$beginning=0;
$end=35;
$FileName = "c:/results.txt";
$FileHandle = fopen($FileName, 'w') or die("can't open file");
for ($i = $beginning; $i < $end; $i++) {
$url = sprintf('http://imgur.com/gallery/hot/day/page/%d?scrolled',$i);
$html = file_get_html($url);
echo "Day: -".$i."\n";
foreach($html -> find('div[class=posts]') as $element){
foreach($element -> find('img') as $el)
{
$urls = $el-> src;
$urls1 = str_replace('b.jpg','.jpg',$el->src);
$urls2 = str_replace('.jpg','',str_replace('.com/','.com/gallery/',str_replace('http://i.','http://',str_replace('b.jpg','.jpg',$el->src))));
$title=str_replace('"','"',str_replace(''',"'",stristr($el-> title,'<p>',true)));
$fil= $urls2.' '.$urls.' '.$urls1.' '.$title."\n";
fwrite($FileHandle, $fil);
}
}
$html->clear;
unset($html);
}
fclose($FileHandle);
?>
致命错误:第1078行C:\work\simple\u html\u dom.php中允许的内存大小为268435456字节(尝试分配8388608字节)
你可以增加记忆
ini_set("memory_limit","LIMIT");
比如说
ini_set("memory_limit","32M");
顺便说一句,请检查:您可以使用
ini_set("memory_limit","LIMIT");
比如说
ini_set("memory_limit","32M");
顺便说一句,请查看:
如果这是您的实际代码,那么您可能希望将其更改为函数调用:$html->clear()代码>
如果不是这个问题,请尝试降级到1.11,clear()
如果这是您的实际代码,那么您可能希望将其更改为函数调用:$html->clear()代码>
如果不是这个问题,请尝试降级到1.11,clear() 如果你缩进你的代码,它会更容易阅读;正是在内部环境之后,我认为Simple是一个过时的图书馆,它有一个破旧的设计。您应该用更好的库替换它,还有其他更好的库可用。建议使用第三方替代方法代替字符串解析:,还有。谢谢,我将在其他项目中尝试它们,但由于这只是整个项目的一部分,因此需要一些时间来更改整个代码以使用其他库。如果缩进代码,将更易于阅读。尝试执行未设置($元素);正是在内部环境之后,我认为Simple是一个过时的图书馆,它有一个破旧的设计。您应该用更好的库替换它,还有其他更好的库可用。建议使用第三方替代方法代替字符串解析:,还有.谢谢,我会在其他项目中尝试它们,但由于这只是整个项目的一部分,所以需要一些时间来更改整个代码以使用其他库。谢谢使用该函数,再加上在.bat文件的帮助下分块运行脚本,似乎做了一些技巧:使用该函数,再加上在.bat文件的帮助下分块运行脚本在.bat文件的帮助下,似乎可以做到这一点