Php 如何优化限制查询以更快地从大型表中访问数据?
我正在尝试从一个大小为9GB+且有数百万条记录的表中获取数据。我正在用这些数据填充DataTable。我通过Ajax和sqllimit查询从表中获取分块的记录,即每页10条记录 在上图中,您可以看到我们有223740个页面,因此当我尝试访问最后一个页面时,查询将永远无法加载数据。但是,当我尝试访问第一页时,数据加载速度更快。但是直接访问高偏移量的页面需要很长时间才能加载Php 如何优化限制查询以更快地从大型表中访问数据?,php,mysql,sql,performance,datatable,Php,Mysql,Sql,Performance,Datatable,我正在尝试从一个大小为9GB+且有数百万条记录的表中获取数据。我正在用这些数据填充DataTable。我通过Ajax和sqllimit查询从表中获取分块的记录,即每页10条记录 在上图中,您可以看到我们有223740个页面,因此当我尝试访问最后一个页面时,查询将永远无法加载数据。但是,当我尝试访问第一页时,数据加载速度更快。但是直接访问高偏移量的页面需要很长时间才能加载 public static function getAllEvaluationsWithNameForDataTable($
public static function getAllEvaluationsWithNameForDataTable($start){
$queryBuilder = new Builder();
return $queryBuilder
->from(array('e' => static::class))
->leftJoin('Cx\Framework\Models\Common\User\CxUser', 'e.cx_hc_user_id = u.id', 'u')
->columns('e.id, e.first_name, u.initials as assigned_coach, e.gender, e.email, e.phone, e.age, e.version, e.evaluation_status, e.ip_address, e.date_created, e.date_updated')
->orderBy('e.id asc')
->limit(10, $start)
->getQuery()
->execute()
->toArray();
}
PHP函数/控制器:
public function getEvaluationsAction() {
// Enable Json response
$this->setJsonResponse();
// This action can be called only via ajax
$this->requireAjax();
// Forward to access denied if current user is not allowed to view evaluation details
if (!$this->CxAuth->currentUserIsAllowedTo('VIEW', CxEbEvaluation::getClassResourceName()))
return $this->forwardToAccessDeniedError();
if(isset($_GET['start'])){
$start = $this->request->get('start');
}else{
$start = 10;
}
$recordsTotal = count(CxEbEvaluation::getAllForDataTable(array('id')));
//Get Evaluations from DB
$evaluation_quizzes = CxEbEvaluation::getAllEvaluationsWithNameForDataTable(intval($start));
//for getting base URL
$url = new Url();
$data = array();
foreach ($evaluation_quizzes as $key => $quiz) {
$data[ $key ][ 'id' ] = $quiz[ 'id' ];
$data[ $key ][ 'first_name' ] = $quiz[ 'first_name' ];
if($quiz[ 'assigned_coach' ]){
$data[ $key ][ 'assigned_coach' ] = $quiz['assigned_coach'];
}else{
$data[ $key ][ 'assigned_coach' ] = "Not assigned";
}
$data[ $key ][ 'gender' ] = $quiz[ 'gender' ];
$data[ $key ][ 'email' ] = $quiz[ 'email' ];
$data[ $key ][ 'phone' ] = $quiz[ 'phone' ];
$data[ $key ][ 'age' ] = $quiz[ 'age' ];
$data[ $key ][ 'version' ] = $quiz[ 'version' ];
$data[ $key ][ 'quiz' ] = $url->get('/admin/get-evaluation-quiz-by-id');
$data[ $key ][ 'manage-notes-messages-and-calls' ] = $url->get('/admin/manage-notes-messages-and-calls');
$data[ $key ][ 'date_created' ] = date("m/d/Y H:i:s", $quiz[ 'date_created' ]);
$data[ $key ][ 'evaluation_status' ] = $quiz[ 'evaluation_status' ];
}
// Return data array
return array(
"recordsTotal" => $recordsTotal,
"recordsFiltered" => $recordsTotal ,
"data" => $data //How To Retrieve This Data
);
// Return data
}
Javascript:
cx.common.data.cxAdminDataTables.EbEvaluation = $CxRecordsTable.cxAdminDataTable({
ajaxUrl: '<?php echo $this->CxHelper->Route('eb-admin-get-evaluations')?>' + eqQuizIdQueryString,
serverSide: true,
processing: true,
recordsFiltered :true,
columns: [
cx.common.admin.tableEditColumn('id',{ delete: true }),
{ data: 'first_name' },
{ data: 'assigned_coach' },
{ data: 'gender' },
{ data: 'email' },
{ data: 'phone' },
{ data: 'age' },
cx.common.admin.tableLinkColumn('quiz', quizLinkOptions),
cx.common.admin.tableEditColumn('id', healthCoachLinkOptions),
cx.common.admin.tableLinkColumn('manage-notes-messages-and-calls', manageNotesMessagesAndCalls),
{ data: 'date_created' },
cx.common.admin.tableSwitchableColumn('evaluation_status', {
editable: true,
createdCell: function (td, cellData, rowData, row, col){
$(td).data('evaluation-status-id', rowData.id);
},
onText: 'Complete',
offText: 'In progress'
})
],
toolbarOptions:{
enabled: false
}, success: function (data) {
cx.common.data.cxAdminDataTables.EbEvaluation.cxAdminDataTable("reloadAjax");
}
});
}
else {
$row.removeClass('alert');
}
});
}
});
从大表顺序中选择任意值(限制为10个大数值)的模式是一种臭名昭著的性能反模式。为什么?因为它必须检查大量的行才能返回一些
如果您的id值是主键或任何索引列,则可以按其分页
SELECT whatever FROM vast_table WHERE id BETWEEN large_value AND large_value+9 ORDER BY id;
或者你可以试试
SELECT whatever FROM vast_table WHERE id >= large_value ORDER BY id LIMIT 10;
如果您的id值中有间隙,则这不会完全分页。但是它的性能相当不错。由Masivuye Cokile链接的问答以及提供的链接,包含了一个关于大偏移量查询速度缓慢原因的详细说明。基本上,对于limit150000,10个MySQL仍然会扫描整个150000行,即使稍后会丢弃它们。要加快速度,您可以:
使用顺序分页,即在ID N后显示10个条目,这非常快,是一个很好的替代方法,但会丢弃实际页码;您的用户将保留下一个/上一个链接和/或您可以使用计数查询计算的大致页码。
或者在id上创建索引,然后强制mysql执行仅索引搜索。
对于第二种方法,您必须从
SELECT ...
FROM table t
WHERE ...
ORDER by t.id ASC
LIMIT 150000, 10
到
或者,由于您不局限于单个查询,因此可以使用
SELECT id
FROM table
ORDER BY id ASC
LIMIT 150000, 1
然后使用所述id检索实际数据:
SELECT ...
FROM table
WHERE id >= $id
AND ...
ORDER BY id ASC
LIMIT 0, 10
该问题与我的表中的dates列数据类型有关。我对日期字段使用int数据类型,当我将日期列的数据类型更改为datetime时,搜索结果以秒为单位
我找到解决方案的来源@您需要一个索引。@MasivuyeCokile尝试了上面的stackoverflow链接,但与我的场景无关。您好@O.Jones,我已经尝试过类似的方法,但正如您提到的,它跳过了记录。返回$queryBuilder->fromarray'e'=>static::class->leftJoin'Cx\Framework\Models\Common\User\CxUser',e.Cx\u hc\u User\u id=u.id',u'->columns'e.*'->其中'e.id>:id:'->orderBy'e.id asc'->limit10,$start->getQuery->executearray'ID'=>$start->toArray@DojoDev-听起来QueryBuilder不是一个好的工具,你不应该在limit10$start中包含你的起点。而且您可能希望在'e.id>=:id:'note>=。关于“记住你离开的地方”。@Timekiller在哪里可以找到第一项的id?您指的是datatable的$start变量吗?总体第一项还是页面上的第一项?如果您是指总体,请选择minid或使用id>=0之类的内容;如果您指的是页面上的第一个项目,请查看我的倒数第二个查询,并调整150000,1部分的限制,以便偏移量与每页的页面*项目匹配,而不是150000。
SELECT id
FROM table
ORDER BY id ASC
LIMIT 150000, 1
SELECT ...
FROM table
WHERE id >= $id
AND ...
ORDER BY id ASC
LIMIT 0, 10