如何节省内存负载并防止ZEND HEAP php错误查询数百万条记录创建.txt文件
PHP在处理记录大约45分钟后出现了一个ZEND堆错误，我花了无数个小时研究并试图解决这个错误，但无法解决。没有一个.ini配置可以解决这个问题，因为我研究并尝试了一切！它似乎只是一个php 5xx限制或bug 我查询了6个表和54000000条记录。从这些查询中，我生成了一个专有文本文件 我在下面的脚本中寻找最好的建议，或者重新编写脚本，因为我在过去一年中修改了100次，速度更快了，但我无法摆脱ZEND HEAD错误，它在很大的记录集上杀死了我的脚本 这不是基于web的脚本，所有工作都是本地化的，并通过PHPCLI运行 我还应该注意到，我花了无数个小时重新配置php.ini内存设置和任何其他可能的调整，我可以尝试没有运气。 我希望这个脚本可以用OOP结构编写，这样可以提高内存效率 提前感谢您提供的任何时间或想法。以下是我现有的代码：如何节省内存负载并防止ZEND HEAP php错误查询数百万条记录创建.txt文件,php,mysql,memory,Php,Mysql,Memory,PHP在处理记录大约45分钟后出现了一个ZEND堆错误，我花了无数个小时研究并试图解决这个错误，但无法解决。没有一个.ini配置可以解决这个问题，因为我研究并尝试了一切！它似乎只是一个php 5xx限制或bug 我查询了6个表和54000000条记录。从这些查询中，我生成了一个专有文本文件 我在下面的脚本中寻找最好的建议，或者重新编写脚本，因为我在过去一年中修改了100次，速度更快了，但我无法摆脱ZEND HEAD错误，它在很大的记录集上杀死了我的脚本 这不是基于web的脚本，所有工作都是本地化
<?php
ini_set('mysql.connect_timeout', '9999999999999999999999999999999999999999999999');
ini_set('default_socket_timeout', '9999999999999999999999999999999999999999999999');
ini_set('memory_limit','9999999999999999999999999999999999999999999999M');
// Opens a connection to a MySQL server.
$connection = mysql_connect ("localhost", "root", "");
if (!$connection)
{
die('Not connected : ' . mysql_error());
}
// Sets the active MySQL database.
$db_selected = mysql_select_db("charities", $connection);
if (!$db_selected)
{
die ('Can\'t use db : ' . mysql_error());
}
// Basic settings
$txtdate = date('Ymdhis');
// Filter only
$_POST["state_abbr"] = 'NY'; // State
$_POST["loc_type"] = 'Non Profit'; // Church, School, Non Profit etc...
// Query parameters - eg for Open or Closed Status.
$_POST["case_disp"] = 'C';
$_POST["case_disp_txt"] = 'CLOSED';
$_POST["case_disp_gp"] = 'CLOSED';
$_POST["last_act_txt"] = 'CLOSED';
// Text output only.
$_POST["status_word"] = 'Closed'; // Location status: "ABANDONED" or "ACTIVE"
$_POST["stateU"] = 'New York';
$Locations_yr = "2012-" . date('Y');
// Selects all the rows in the markers table.
$query = "SELECT * FROM charity_full_merged as a
INNER JOIN charity_full_merged_st_load_case as b
ON a.charity_id=b.charity_id
INNER JOIN charity_full_merged_land as c
ON b.charity_id=c.charity_id
INNER JOIN charity_full_merged_county as d
ON c.charity_id=d.charity_id
INNER JOIN charity_full_merged_customer as e
ON d.charity_id=e.charity_id
WHERE
a.township_range_quarters != ''
AND
b.geo_state = '".$_POST["state_abbr"]."'
AND
b.casetype_txt LIKE \"%".$_POST["loc_type"]."%\"
AND
b.case_disp_txt = '".$_POST["case_disp_txt"]."' GROUP BY b.charity_nm;";
$result = mysql_query($query);
if($result === FALSE) {
die(mysql_error());
}
$results_count = mysql_num_rows($result);
$result = mysql_query($query);
if (!$result)
{
die('Invalid query: ' . mysql_error());
}
// Creates an array of strings to hold the lines of the txt file.
$txt = array('<?xml version="1.0" encoding="UTF-8"?>');
$txt[] = "<Document>
<name>" . date('Y') . " Data Map of " . $_POST["stateU"] . ". " . $_POST["status_word"] . " " . $_POST["loc_type"] . " Locations. </name>
<description>" . $_POST["stateU"] . " " . $_POST["status_word"] . " " . $_POST["loc_type"] . " " . " map." . " " . $results_count . " Records. Created by Charity Group 5." . date('Y') . ". </description>";
while ($row = @ mysql_fetch_assoc($result))
{
if ($row['last_action_txt'] == 'NOP'
{
$boxclr = 'activeLoc';
}
else if ($row['case_disp'] == 'C'
{
$boxclr = 'closedLoc';
}
else { // Unknown
$boxclr = "yellowBox";
}
$txt[] = "... general content written here ... (about 100 lines of text per record ";
}
// End XML file
$txt[] = ' </Document>';
$txt[] = '</txt>';
$txtOutput = join("\n", $txt);
// Create .txt file.
$txtfile = $_POST["stateU"] . "Charities" . $_POST["status_word"] . "-" . $_POST["loc_type"] . "-LocationS-" . $results_count . "-" . $txtdate . ".txt";
// Put the contents of $txtOutput into the $txtfile.
file_put_contents($txtfile, $txtOutput);
echo "$results_count " . $_POST["status_word"] . " " . $_POST["loc_type"] . " Location records processed...";
?>
我想你已经理解了一般问题。您正试图将整个结果集累加到
$txt$txt[] = "(header stuff)";
while ($row = mysql_fetch_assoc($result) { // Remove the @ here!!!
$txt[] = "(content stuff)"; // This becomes 'huge'
}
$txt[] = "(footer stuff)";
$txtOutput = join("\n", $txt); // Now your memory usage is
// ~ 2 * 'huge'
file_put_contents($filename, $txtOutput);
$fp = fopen($filename, "w");
fwrite($fp, "(header stuff)");
while ($row = mysql_fetch_assoc($result) {
fwrite($fp, "(content stuff)");
}
fwrite($fp, "(footer stuff)");
fclose($fp);
9999999999999999999999999999999999999999999999999999999999999999999999999这样的数字时对于套接字超时或内存限制，这应该是一个很大的警告，表明您做错了什么。我想您已经理解了一般问题。您正试图将整个结果集累加到
$txt$txt[] = "(header stuff)";
while ($row = mysql_fetch_assoc($result) { // Remove the @ here!!!
$txt[] = "(content stuff)"; // This becomes 'huge'
}
$txt[] = "(footer stuff)";
$txtOutput = join("\n", $txt); // Now your memory usage is
// ~ 2 * 'huge'
file_put_contents($filename, $txtOutput);
$fp = fopen($filename, "w");
fwrite($fp, "(header stuff)");
while ($row = mysql_fetch_assoc($result) {
fwrite($fp, "(content stuff)");
}
fwrite($fp, "(footer stuff)");
fclose($fp);
9999999999999999999999999999999999999999999999999999999999999999999999999这样的数字时对于套接字超时或内存限制，这应该是一个很大的警告，表明您做错了什么。您能澄清一下您到底遇到了什么错误吗？最突出的一点是，您并不是在发生每一行时都写出来，而是将它存储在一个巨大的数组中。使用
fwrite（）ini\u集那样超过max int。看起来更像是一个可怕的猴子补丁，而不是一个解决方案。此外，您的代码中充满了sql注入漏洞。此外，您是在抑制错误，而不是处理错误。您能否澄清您到底遇到了什么错误？突出的一点是，您并不是在出现每一行时都写出它，而是将它存储在一个巨大的数组中。使用fwrite（）
直接写出每一行。我怀疑你能否像处理那些疯狂的ini\u集那样超过max int。看起来更像是一个可怕的猴子补丁，而不是一个解决方案。此外，您的代码中充满了sql注入漏洞。此外，您正在抑制错误，而不是处理错误。最后但并非最不重要的一点是，使用echo“”创建XML$未切换的随机输入。“”迟早会失败。Jonathon Reinhart，我已经花了4个多月的时间重新开发和修改我的脚本，现在一直都是这么简单！！很高兴有像你这样的人知道的比我多！！我做了很多志愿者工作，这真的很有帮助。再次感谢！不幸的是，从PHP5.5.0开始，mysql
扩展就被弃用了，但只要它可以使用，我会使用mysql\u unbuffered\u query（）
而不是mysql\u query（）
，来处理这样大的问题resultset@WalterTross说得好。此外，这意味着OP应该注意所有的警告，并切换到MySQLi或PDO$未切换的随机输入。“”迟早会失败。Jonathon Reinhart，我已经花了4个多月的时间重新开发和修改我的脚本，现在一直都是这么简单！！很高兴有像你这样的人知道的比我多！！我做了很多志愿者工作，这真的很有帮助。再次感谢！不幸的是，从PHP5.5.0开始，mysql
扩展就被弃用了，但只要它可以使用，我会使用mysql\u unbuffered\u query（）
而不是mysql\u query（）
，来处理这样大的问题resultset@WalterTross说得好。此外，这意味着OP应该注意整个系统的警告，并切换到MySQLi或PDO。