PostgreSQL复杂求和查询

我有以下表格：

video (id, name) 

keyframe (id, name, video_id) /*video_id has fk on video.id*/

detector (id, concepts)

score (detector_id, keyframe_id, score) /*detector_id has fk on detector .id and keyframe_id has fk on keyframe.id*/

本质上，一个视频有多个与之相关联的关键帧，每个关键帧都由所有检测器进行评分。每个检测器都有一系列概念，它将在这些概念上对关键帧进行评分

现在，如果可能，我想在单个查询中找到以下内容：

给定一组检测器id（比如，最多5个），返回在这些检测器上得分最高的前10个视频。通过平均每个探测器每个视频的关键帧分数，然后对探测器分数求和，对它们进行评分

例如： 对于具有3个相关关键帧的视频，2个检测器的分数如下：

detector_id | keyframe_id | score
1             1             0.0281
1             2             0.0012
1             3             0.0269
2             1             0.1341
2             2             0.9726
2             3             0.7125

这将为视频评分：

sum(avg(0.0281, 0.0012, 0.0269), avg(0.1341, 0.9726, 0.7125))

最终我希望得到以下结果：

video_id | score
1          0.417328
2          ...

我想一定是这样的，但我还没有完全做到：

select
    (select
        (select sum(avg_score) summed_score
        from
        (select
            avg(s.score) avg_score
        from score s
        where s.detector_id = ANY(array[1,2,3,4,5]) and s.keyframe_id = kf.id) x)
    from keyframe kf
    where kf.video_id = v.id) y
from video v

我的分数表相当大（100米行），所以我希望它尽可能快（我尝试的所有其他选项都需要几分钟才能完成）。我总共有大约3000个视频，500个检测器，每个视频大约有15个关键帧

如果不可能在不到2秒内完成这项工作，那么我也愿意采用重构数据库模式的方法。数据库中可能根本没有插入/删除

编辑：

感谢GabrielsMessenger，我有一个答案，以下是查询计划：

EXPLAIN (analyze, verbose)
SELECT
    v_id, sum(fd_avg_score)
FROM (
    SELECT 
        v.id as v_id, k.id as k_id, d.id as d_id,
        avg(s.score) as fd_avg_score
    FROM
        video v
        JOIN keyframe k ON k.video_id = v.id
        JOIN score s ON s.keyframe_id = k.id
        JOIN detector d ON d.id = s.detector_id
    WHERE
        d.id = ANY(ARRAY[1,2,3,4,5]) /*here goes detector's array*/
    GROUP BY
        v.id,
        k.id,
        d.id
) sub
GROUP BY
    v_id
;

免责声明： 我的最终答案是基于事实和与作者的聊天讨论。需要注意的是：每个关键帧id只分配给一个视频

原始答复： 这不是像下面的查询那样简单吗

SELECT
    v_id, sum(fd_avg_score)
FROM (
    SELECT 
        v.id as v_id, k.id as k_id, s.detector_id as d_id,
        avg(s.score) as fd_avg_score
    FROM
        video v
        JOIN keyframe k ON k.video_id = v.id
        JOIN score s ON s.keyframe_id = k.id
    WHERE
        s.detector_id = ANY(ARRAY[1,2,3,4,5]) /*here goes detector's array*/
    GROUP BY
        v.id,
        k.id,
        detector_id
) sub
GROUP BY
    v_id
LIMIT 10
;

首先，在子查询中，我们将视频与其关键帧连接起来，并将关键帧与分数连接起来。我们计算每个视频、这些视频的每个关键帧和每个检测器的平均分数（如您所说）。最后在主查询中，我们统计每个视频的平均分数

演出 正如作者所指出的，他在每个表的

id

列上都有

PRIMARY key

，在表

score（detector\u id，keyrame\u id）

上也有复合索引。这可能足以快速运行此查询

但是，在测试时，作者需要进一步优化。所以有两件事：

请记住始终在表格上执行

真空分析

，特别是在插入100M行时（如

分数

表格）。因此，至少执行

真空分析评分

为了尝试进行更多优化，我们可以将

分数（检测器id，关键帧id）

上的复合索引更改为

分数（检测器id，关键帧id，分数）

。它可能允许PostgreSQL在计算平均值时使用

仅索引扫描

---

这里的f是什么，你是指k吗？我得到一个错误：

error:missing FROM子句条目for table“f”

谢谢，这似乎给出了很好的结果，但是查询需要相当长的时间（20秒）。关于如何提高速度，你有什么建议吗（我听说索引可能会有帮助）？你能发布查询计划吗？执行

EXPLAIN ANALYZE

并向我们发布输出。你在每个表上都设置了主键吗？

SELECT
    v_id, sum(fd_avg_score)
FROM (
    SELECT 
        v.id as v_id, k.id as k_id, s.detector_id as d_id,
        avg(s.score) as fd_avg_score
    FROM
        video v
        JOIN keyframe k ON k.video_id = v.id
        JOIN score s ON s.keyframe_id = k.id
    WHERE
        s.detector_id = ANY(ARRAY[1,2,3,4,5]) /*here goes detector's array*/
    GROUP BY
        v.id,
        k.id,
        detector_id
) sub
GROUP BY
    v_id
LIMIT 10
;