在PostgreSQL中内部连接表时计数缓慢
我用的是Postgres9.4。我已经运行了在PostgreSQL中内部连接表时计数缓慢,sql,postgresql,count,database-performance,Sql,Postgresql,Count,Database Performance,我用的是Postgres9.4。我已经运行了VACUUM和analysis。但是对内部连接的查询仍然很慢 例如,我有3个表:numbersale、base\u number和numberstorethroughnumber\u id和numberstorethrough只是FKs(numbersale.number\u id指向base\u number,numberstorethrough.number\u id指向numbersale,是的,这是个可怕的命名): 其中包含从250k到595k
VACUUM
和analysis
。但是对内部连接的查询仍然很慢
例如,我有3个表:numbersale
、base\u number
和numberstorethrough
<numbersale
中的code>number\u id
和numberstorethrough
只是FKs(numbersale.number\u id
指向base\u number
,numberstorethrough.number\u id
指向numbersale
,是的,这是个可怕的命名):
其中包含从250k到595k的条目:
$ SELECT COUNT(*) FROM numbersale;
count
--------
258552
(1 row)
Time: 17,845 ms
$ SELECT COUNT(*) FROM base_number;
count
--------
332484
(1 row)
Time: 16,273 ms
$ SELECT COUNT(*) FROM numberstorethrough;
count
--------
595812
(1 row)
Time: 56,710 ms
表中有相应的索引:
$ select * from pg_indexes where tablename = 'numbersale';
schemaname | tablename | indexname | tablespace | indexdef
------------+------------------+--------------------------------------------+------------+------------------------------------------------------------------------------------------------------------------------------------
...
public | numbersale | numbersale_number_id_key | | CREATE UNIQUE INDEX numbersale_number_id_key ON numbersale USING btree (number_id)
$ select * from pg_indexes where tablename = 'numberstorethrough';
schemaname | tablename | indexname | tablespace | indexdef
------------+--------------------------+---------------------------------------+------------+--------------------------------------------------------------------------------------------------------------------------------------
public | numberstorethrough | numberstorethrough_number_id | | CREATE INDEX numberstorethrough_number_id ON numberstorethrough USING btree (number_id)
我的问题是以下查询:
SELECT COUNT(*) FROM "numbersale"
INNER JOIN "base_number"
ON ( "numbersale"."number_id" = "base_number"."id" )
INNER JOIN "numberstorethrough"
ON ( "numbersale"."id" = "numberstorethrough"."number_id" );
count
--------
595812
(1 row)
Time: 541,523 ms
请解释该问题:
Aggregate (cost=62564.67..62564.68 rows=1 width=0)
-> Hash Join (cost=34443.31..61075.14 rows=595812 width=0)
Hash Cond: (numberstorethrough.number_id = numbersale.id)
-> Seq Scan on numberstorethrough (cost=0.00..10539.12 rows=595812 width=4)
-> Hash (cost=30201.41..30201.41 rows=258552 width=4)
-> Hash Join (cost=14411.42..30201.41 rows=258552 width=4)
Hash Cond: (base_number.id = numbersale.number_id)
-> Seq Scan on base_number (cost=0.00..7102.84 rows=332484 width=4)
-> Hash (cost=10169.52..10169.52 rows=258552 width=8)
-> Seq Scan on numbersale (cost=0.00..10169.52 rows=258552 width=8)
这种带有两个内部联接的基本查询需要半秒以上(有时需要700毫秒)的时间,这正常吗?行数甚至不是几百万,只是30-60万
我简化了我的查询,实际上它更大,需要1秒以上的时间,但联接的问题是我的主要瓶颈。一种可能是联接产生一个非常大的中间结果,然后被第二个联接过滤掉。这仍然不能解释为什么不使用索引,但这可能具有更好的性能:
SELECT COUNT(*)
FROM "base_number" bn
WHERE EXISTS (SELECT 1 FROM "numbersale" ns WHERE ns."number_id" = bn."id") AND
EXISTS (SELECT 1 FROM "numberstorethrough" nst WHERE bn."id" = nst."number_id");
您已经拥有此(以及原始)查询的正确索引:
numbersale(number\u id)
、base\u number(id)
和numberstorethrough(number\u id)
我对查询计划最好的解释是不使用索引,因为查询中没有任何内容限制应该获取的行。正在读取每个表中的每一行。那么在这种情况下使用索引有什么好处呢?数据库将不得不花费时间读取索引,然后仍然必须读取“真实”数据。没有收获。如果有一个WHERE子句限制了查询要回退的内容,或者如果连接条件限制了检索到的行数,那么我希望索引可以发挥作用。索引不是魔术——它们的使用不会自动“更好”,查询计划中没有索引也不会自动“更糟”。与许多事情一样,这取决于:-)-在本例中,从查询优化器的角度来看,使用一个或多个索引似乎是一种净损失。还要记住,COUNT
并不是一个神奇的函数,它只是计算结果集中的行数。它无法神奇地“知道”一个结果集中要投影多少行-数据库必须生成结果集,然后COUNT
只计算有多少行。您的第一个连接条件不正确,因为没有定义“number”
。对不起,我尝试调整名称,但输入了一些错误<代码>编号应为基本编号
。很抱歉给您带来不便<代码>选择计数…的性能通常比您预期的差得多。您真的需要行数吗,还是只是想确定是否有行与查询条件匹配?如果执行选择*.
而不是选择计数(*)…
,性能会发生什么变化?您的查询正在对所有三个表进行顺序扫描-在我看来,令人惊奇的不是它需要500到700毫秒,而是它只需要500到700毫秒。YMMV。@BobJarvis只尝试了选择*
和解释分析
。对性能没有好处。我真的不需要所有这些行的精确计数,这是我的分页行为——也许,我应该找到一些解决方法。我想知道,为什么索引在这种情况下不起作用。但我已经有了索引。请参阅我从pg_index
-表中的输出。@prokaktus。我大大修改了答案。谢谢你的回答!但是numberstorethrough
中的我的number\u id
字段指向numbersale
,而不是base\u number
。不幸的是,这个名字有点可怕。我的numberstorethrough
是m2m表,它可以包含多个number\u id
。由于选择与存在
提供不同的功能。我将对答案进行编辑,使其更加明确。没关系,有时候数据库不使用索引,但在我的例子中,使用连接读取的速度是单独读取大多数较大表的10倍。我并不期待魔术,但这样的表现差异对我来说非常令人畏惧。但无论如何,谢谢你的时间和回答!
SELECT COUNT(*)
FROM "base_number" bn
WHERE EXISTS (SELECT 1 FROM "numbersale" ns WHERE ns."number_id" = bn."id") AND
EXISTS (SELECT 1 FROM "numberstorethrough" nst WHERE bn."id" = nst."number_id");