Php 如何在Symfony 1.4中运行任务时使用更少的内存?
我正在使用Symfony 1.4和Doctrine 到目前为止,我使用Symfony运行任务没有问题。 但现在我必须导入大量数据并保存在数据库中,我得到了臭名昭著的 “致命错误:允许的内存大小为 XXXX字节已耗尽” 在这个导入过程中,我只创建新对象,设置一些字段并保存它们 我很确定这与我在保存数据时创建的对象数量有关。但是,取消设置这些对象并没有任何作用Php 如何在Symfony 1.4中运行任务时使用更少的内存?,php,memory,symfony1,doctrine,symfony-1.4,Php,Memory,Symfony1,Doctrine,Symfony 1.4,我正在使用Symfony 1.4和Doctrine 到目前为止,我使用Symfony运行任务没有问题。 但现在我必须导入大量数据并保存在数据库中,我得到了臭名昭著的 “致命错误:允许的内存大小为 XXXX字节已耗尽” 在这个导入过程中,我只创建新对象,设置一些字段并保存它们 我很确定这与我在保存数据时创建的对象数量有关。但是,取消设置这些对象并没有任何作用 在Symfony中有没有限制内存使用的最佳实践?我遇到过这个问题,我发现有两种技术确实有助于Doctrine的广泛内存使用 1:在可能的情况
在Symfony中有没有限制内存使用的最佳实践?我遇到过这个问题,我发现有两种技术确实有助于Doctrine的广泛内存使用 1:在可能的情况下,将条令查询结果分解为一个数组。您可以按如下方式执行此操作:
$query = self::createQuery("q")->
...
->setHydrationMode(Doctrine::HYDRATE_ARRAY)
->execute();
这迫使条令不创建大型对象,而是将其简化为数组。显然,请记住,如果这样做,您将失去调用方法等的能力,因此,只有当您使用它读取字段值等时,这才是好的
2:执行后释放结果。这在条令文档的一小部分中有记录,但它确实帮助我完成了我使用的导入任务:
$query->free();
就这样。您还可以对已创建的对象执行此操作,例如$myObj->free()这迫使条令删除它创建的所有循环引用。请注意,从PHP 5.3开始,通过PHP作用域或unset()
删除对象时,循环引用将自动从中释放,但在此之前,您需要自己执行此操作
在使用变量后取消设置变量也会有所帮助,尽管与上面提到的free()
方法结合使用,因为unset()
不会清除循环引用。也值得研究:
-强制收集任何现有垃圾周期我对symfony的PHP批处理作业也有同样的问题——如果它们运行很长时间并使用大量数据,它们往往会膨胀,即使我制作了一个调用许多单独PHP进程的包装器,也没有任何帮助
正因为如此,我用Perl的DBI重写了更大的批处理作业,它们是可靠和可管理的
我不是说这是最好的答案,只是同情并提供我的经验。可能有一种方法可以让PHP表现得更好。很抱歉,我知道这是一个迟来的答案,但可以帮助其他人
另一个潜在的巨大内存节省器是确保Symfony的调试模式没有为该任务启用。在几个长时间运行的任务中,我添加了这一行,即使在我优化了水合模式之类的东西之后,它也将RAM使用量减少了约40%
sfConfig::set('sf_debug', false);
试试这个:
Doctrine_Manager::connection()->setAttribute(Doctrine_Core::ATTR_AUTO_FREE_QUERY_OBJECTS, true );
如上所述
Jordan Feldstein的答案不是我的。另一个减少任务内存使用量的提示是禁用查询分析器。大量的查询往往会使任务使用越来越多的内存
为此,请通过添加以下行在database.yml配置文件中创建新的任务环境:
task:
doctrine:
class: sfDoctrineDatabase
param:
profiler: false
然后将任务设置为在“任务”环境中运行。如果查询处于循环中,它应该有助于保持内存使用的稳定。还应尝试将查询中的(选择)字段限制为您真正需要的字段
例如,请使用以下内容:
$query = self::createQuery("q")->
->select('id','title','price')
...
而不是:
$query = self::createQuery("q")->
->select('*')
...
在条令查询中使用fetchOne()时要小心。此函数调用不会在SQL上追加“限制1”
如果您只需要从DB获取一条记录,请确保:
$q->limit(1)->fetchOne()
大表上的内存使用率大大降低
您可以看到fetchOne()将首先作为集合从数据库中获取,然后返回第一个元素
public function fetchOne($params = array(), $hydrationMode = null)
{
$collection = $this->execute($params, $hydrationMode);
if (is_scalar($collection)) {
return $collection;
}
if (count($collection) === 0) {
return false;
}
if ($collection instanceof Doctrine_Collection) {
return $collection->getFirst();
} else if (is_array($collection)) {
return array_shift($collection);
}
return false;
}
+一个好问题;这是Symfony文档中没有真正涵盖的内容!在启用gc=>gc_enable()之前避免内存泄漏的另一个答案