Sql 在非不同索引上使用递归cte计算不同的行

给定以下模式：

CREATE TABLE identifiers (
  id TEXT PRIMARY KEY
);

CREATE TABLE days (
  day DATE PRIMARY KEY
);

CREATE TABLE data (
  id TEXT REFERENCES identifiers
  , day DATE REFERENCES days
  , values NUMERIC[] 
); 
CREATE INDEX ON data (id, day);

计算两个时间戳之间所有不同天数的最佳方法是什么？我尝试了以下两种方法：

EXPLAIN ANALYZE
SELECT COUNT(DISTINCT day) 
FROM data 
WHERE day BETWEEN '2010-01-01' AND '2011-01-01';
                                                                        QUERY PLAN                                                                        
----------------------------------------------------------------------------------------------------------------------------------------------------------
 Aggregate  (cost=200331.32..200331.33 rows=1 width=4) (actual time=1647.574..1647.575 rows=1 loops=1)
   ->  Index Only Scan using data_day_sid_idx on data  (cost=0.56..196942.12 rows=1355678 width=4) (actual time=0.348..1180.566 rows=1362532 loops=1)
         Index Cond: ((day >= '2010-01-01'::date) AND (day <= '2011-01-01'::date))
         Heap Fetches: 0
 Total runtime: 1647.865 ms
(5 rows)

EXPLAIN ANALYZE
SELECT COUNT(DISTINCT day) 
FROM days
WHERE day BETWEEN '2010-01-01' AND '2011-01-01';
                                                           QUERY PLAN                                                           
--------------------------------------------------------------------------------------------------------------------------------
 Aggregate  (cost=18.95..18.96 rows=1 width=4) (actual time=0.481..0.481 rows=1 loops=1)
   ->  Index Only Scan using days_pkey on days  (cost=0.28..18.32 rows=252 width=4) (actual time=0.093..0.275 rows=252 loops=1)
         Index Cond: ((day >= '2010-01-01'::date) AND (day <= '2011-01-01'::date))
         Heap Fetches: 252
 Total runtime: 0.582 ms
(5 rows)

更新

谢谢大家的想法。从存储和性能角度看，维护一个基于触发器的不同日期表似乎是最好的方法。由于@Erwin的更新，递归CTE重新开始运行。非常有用

WITH RECURSIVE cte AS (
   (  -- parentheses required because of LIMIT
   SELECT day
   FROM   data
   WHERE  day >= '2010-01-01'::date  -- exclude irrelevant rows early
   ORDER  BY 1
   LIMIT  1
   )

   UNION ALL
   SELECT (SELECT day FROM data
           WHERE  day > c.day
           AND    day < '2011-01-01'::date  -- see comments below
           ORDER  BY 1
           LIMIT  1)
   FROM   cte c
   WHERE  day IS NOT NULL  -- necessary because corr. subq. always returns row
   )
SELECT count(*) AS ct
FROM   cte
WHERE  day IS NOT NULL;

                                                                             QUERY PLAN
--------------------------------------------------------------------------------------------------------------------------------------------------------------------
 Aggregate  (cost=53.35..53.36 rows=1 width=0) (actual time=18.217..18.217 rows=1 loops=1)
   CTE cte
     ->  Recursive Union  (cost=0.43..51.08 rows=101 width=4) (actual time=0.194..17.594 rows=253 loops=1)
           ->  Limit  (cost=0.43..0.46 rows=1 width=4) (actual time=0.191..0.192 rows=1 loops=1)
                 ->  Index Only Scan using data_day_idx on data data_1  (cost=0.43..235042.00 rows=8255861 width=4) (actual time=0.189..0.189 rows=1 loops=1)
                       Index Cond: (day >= '2010-01-01'::date)
                       Heap Fetches: 0
           ->  WorkTable Scan on cte c  (cost=0.00..4.86 rows=10 width=4) (actual time=0.066..0.066 rows=1 loops=253)
                 Filter: (day IS NOT NULL)
                 Rows Removed by Filter: 0
                 SubPlan 1
                   ->  Limit  (cost=0.43..0.47 rows=1 width=4) (actual time=0.062..0.063 rows=1 loops=252)
                         ->  Index Only Scan using data_day_idx on data  (cost=0.43..1625.59 rows=52458 width=4) (actual time=0.060..0.060 rows=1 loops=252)
                               Index Cond: ((day > c.day) AND (day < '2011-01-01'::date))
                               Heap Fetches: 0
   ->  CTE Scan on cte  (cost=0.00..2.02 rows=100 width=0) (actual time=0.199..18.066 rows=252 loops=1)
         Filter: (day IS NOT NULL)
         Rows Removed by Filter: 1
 Total runtime: 19.355 ms
(19 rows)

---

尝试在

数据（日）

上创建索引，然后运行第一个查询：

SELECT COUNT(DISTINCT day) 
FROM data 
WHERE day BETWEEN '2010-01-01' AND '2011-01-01';

您可能会发现性能足以满足您的需要。

请注意：

对表

day

指数 仅在与

数据上的匹配索引结合使用时才有意义：

CREATE INDEX data_day_idx ON data (day);

day
必须是前导列。您在
（id，day）
问题中的索引也可以使用，但效率要低得多：





笔记
尽早排除不相关的行要便宜得多。我将您的谓词集成到查询中

详细说明：




手头的情况更简单——实际上是最简单的

您最初的时间范围是“2010-01-01”和“2011-01-01”之间的
天
。但是。。而且..

包括上限和下限，因此您可以得到所有的2010年和2011-01-01。您可能希望排除上限。使用

d.day<'2011-01-01'

（不是

我不太清楚为什么数据索引（day）较慢，这似乎是最简单的选择。但是如果速度太慢，你可以尝试创建一个具体的日期视图。基本上只是：

create materialized view days as
select day 
from data 
group by day;

我不相信postgres会自动更新实体化视图，但至少您需要做的所有维护就是定期刷新它。或者可能会对刷新视图的数据创建一个触发器。当然，请记住，根据数据表的大小，刷新此视图可能需要一些时间，您可能只想这样做如果你能侥幸逃脱的话，每小时或每夜都可以

可选地，如果该表获得了大量更新，并且您需要在任何时候都保持明确的日间计数，则可以考虑回到原来的单独的日间表，但是通过在数据表上创建触发器来减少维护开销，以更新它。
性能稍微好一些，但仍有三个数量级的SL。比不同的天数低。（总运行时间：1197.124毫秒）为什么您有一个
text
主键？您不应该有一个引用另一个表中文本的整数吗？它们确实应该是，但它们在整个处理代码中都作为MD5实现，并相应地作为文本条目保留在数据库中。这是上一个问题的后续问题：我认为您删除了的结果de>EXISTS

解决方案是偶然出现的。当然，这取决于实际使用情况。但通常情况下，使用热缓存的结果更有趣。我会选择5个最佳值来比较性能。尝试运行提供的递归cte没有用（995s）。EXISTS情况也运行得很好（3ms）但是，从存储的角度来看，只需维护关系<代码>天>代码>表，就好像是获胜者。发布的查询解释为编辑中的问题。谢谢！因为<代码>存在变体执行得很好，我会考虑坚持下去。用触发器维护一个附加的表也是有代价的。如果性能这个查询是最重要的要求，在他的回答中考虑一个像EvulPrPothM父提到的物化视图。RCTE的性能是完全出乎意料的。我调查、发现并修复了我的解决方案中的一个性能缺陷。感谢您的反馈！还更新了我的参考答案并添加了一个小提琴来证明它。请测试新的RCT。E解决方案。可能没有

存在的速度快

，但是很接近，而且功能更广泛。工作正常。在我上面的更新中发布了解释。谢谢！

SELECT COUNT(DISTINCT day) 
FROM   days
WHERE  day BETWEEN '2010-01-01' AND '2011-01-01';

WITH RECURSIVE cte AS (
   (  -- parentheses required because of LIMIT
   SELECT day
   FROM   data
   WHERE  day >= '2010-01-01'  -- exclude irrelevant rows early
   ORDER  BY 1
   LIMIT  1
   )
  
   UNION ALL
   SELECT (SELECT day FROM data
           WHERE  day > c.day
           AND    day < '2011-01-01'  -- see below
           ORDER  BY 1
           LIMIT  1)
   FROM   cte c
   WHERE  day IS NOT NULL  -- necessary because corr. subq. always returns row
   )
SELECT count(*) AS ct
FROM   cte
WHERE  day IS NOT NULL;

CREATE INDEX data_day_idx ON data (day);

SELECT count(*) AS ct
FROM   generate_series(timestamp '2010-01-01'
                     , timestamp '2010-12-31'
                     , interval  '1 day') AS d(day)
WHERE  EXISTS (SELECT FROM data WHERE day = d.day::date);

create materialized view days as
select day 
from data 
group by day;