Postgresql全文搜索比sqlite fts搜索慢8倍
所以我想做一些全文搜索,研究了如何使用sqlite进行搜索,实现了这一点,并认为它会变慢。所以我选择了postgresql,因为我在过去几年一直在使用该数据库 我有一个非常简单的表+触发器和一个索引:Postgresql全文搜索比sqlite fts搜索慢8倍,postgresql,sqlite,full-text-search,Postgresql,Sqlite,Full Text Search,所以我想做一些全文搜索,研究了如何使用sqlite进行搜索,实现了这一点,并认为它会变慢。所以我选择了postgresql,因为我在过去几年一直在使用该数据库 我有一个非常简单的表+触发器和一个索引: CREATE TABLE submission ( id TEXT NOT NULL, subreddit_id TEXT NOT NULL, author TEXT, created_utc INTEGER, title
CREATE TABLE submission
(
id TEXT NOT NULL,
subreddit_id TEXT NOT NULL,
author TEXT,
created_utc INTEGER,
title TEXT NOT NULL,
selftext TEXT,
permalink TEXT,
num_comments INTEGER,
score FLOAT,
upvote_ratio FLOAT,
fts TSVECTOR,
UNIQUE (id, subreddit_id)
);
CREATE FUNCTION submission_fts_trigger() RETURNS trigger AS
$$
BEGIN
new.fts :=
setweight(to_tsvector('pg_catalog.english', new.title), 'A') ||
setweight(to_tsvector('pg_catalog.english', new.selftext), 'B');
return new;
END;
$$ LANGUAGE plpgsql;
CREATE TRIGGER trg_submission_idx_fts_update
BEFORE INSERT OR UPDATE
ON submission
FOR EACH ROW
EXECUTE FUNCTION submission_fts_trigger();
CREATE INDEX search_idx_fts_idx ON submission USING GIN (fts);
sql query for search
"SELECT * FROM submission, plainto_tsquery('foostring') AS q WHERE (fts @@ q);"
现在,虽然它的工作速度比sqlite解决方案慢8倍,但这有点奇怪,我本以为会有不同的结果。我也四处看了看,根据一些博客文章,上面的解决方案似乎应该很快。
目前,表中的数据约为1500行
postgresql中的一次搜索大约需要32毫秒,sqlite中的一次搜索需要4毫秒
我错过什么了吗?有没有办法让postgresql的搜索速度更快?如果我向表中添加更多数据,sqlite会变慢吗
像elasticsearch这样的东西会更快吗
编辑解释(分析、缓冲区)的结果是:
edit2因此,我所做的测量来自调用select语句的函数,这对于sqlite和postgresql都是一样的。多亏了这个分析器,我可以看到postgresql已经足够快了,而且我正在使用的jdbc包装器似乎增加了很多开销。感谢您的指针。感谢这里的注释,很明显这不是数据库故障。所以我做了一些挖掘,最后我记得我还没有添加连接池,而是为每个数据库请求打开了一个新的SQL连接 事实证明,这样做需要比使用连接池多10倍的时间
有了连接池,postgresql全文搜索速度会稍微快一点,目前我的设置大约为10%。解释(分析,缓冲区)的结果是什么?看起来查询速度已经非常快了,我不确定elastic是否会更好,但是这个查询速度很快。Postgres中的查询需要3ms,而不是PostgreSQL中的322.6毫秒和SQLite中的4毫秒。这使得PostgreSQL稍微快一点,而不是慢一点
Nested Loop (cost=12.31..36.12 rows=7 width=876) (actual time=2.517..2.518 rows=1 loops=1)
Buffers: shared hit=34
-> Function Scan on plainto_tsquery q (cost=0.25..0.26 rows=1 width=32) (actual time=2.472..2.472 rows=1 loops=1)
Buffers: shared hit=29
-> Bitmap Heap Scan on submission (cost=12.06..35.79 rows=7 width=844) (actual time=0.040..0.040 rows=1 loops=1)
Recheck Cond: (fts @@ q.q)
Heap Blocks: exact=1
Buffers: shared hit=5
-> Bitmap Index Scan on search_idx_fts_idx (cost=0.00..12.05 rows=7 width=0) (actual time=0.029..0.029 rows=1 loops=1)
Index Cond: (fts @@ q.q)
Buffers: shared hit=4
Planning:
Buffers: shared hit=188
Execution Time: 2.611 ms