Amazon redshift 在红移模式下,STL_扫描数据随时间不准确

Amazon redshift 在红移模式下,STL_扫描数据随时间不准确,amazon-redshift,prometheus,Amazon Redshift,Prometheus,分析最常用的红移表。我们创建了一个。我们正在将此表中的表扫描数据导出到普罗米修斯,以查看随时间变化的趋势 var ( RedshiftQueryTotalMetric = prometheus.NewGaugeVec( prometheus.GaugeOpts{ Namespace: "redshift", Subsystem: "scan", Name:

分析最常用的红移表。我们创建了一个。我们正在将此表中的表扫描数据导出到普罗米修斯,以查看随时间变化的趋势

var (
    RedshiftQueryTotalMetric = prometheus.NewGaugeVec(
        prometheus.GaugeOpts{
            Namespace: "redshift",
            Subsystem: "scan",
            Name:      "query_total",
            Help:      "total number of queries executed",
        },
        []string{"database", "schema", "tablename", "tableid"},
    )
)

问题:
sum(redshift\u scan\u query\u total{schema=“test\u schema”,tablename=“test\u table”})

我使用了量表,因为增量不是一,而是可以是多,但使用量表作为计数器

表中超过12小时的查询总数不应减少。它应该一直增加,但它一直在下降

问题:

  • 为什么STL_扫描表中的总扫描值每隔几个小时下降一次
  • 如何防止它至少下降一天

  • 我怀疑您正在看到红移从系统表中清除旧数据。红移只会将系统数据保留几天,它会清除旧数据,总数将下降。您是否在开始时间小时前查看了数据?我希望你会看到旧的时间偶尔会被删除。

    @john rotenstein请帮忙!不确定STL_扫描数据不准确的原因是否定期重新创建、清空或分析表格?不,不重新创建表格。我们禁用了分析,我们经常每隔15分钟在表中加载数据。我们不使用真空吸尘器,aws可能会使用自动真空吸尘器。据我所知,您可以查看
    STL_SCAN
    ,并使用此视图查看执行了多少查询,每12小时左右,查询数量就会下降。是吗?是的,不一定是12小时,每隔几个小时就会发生一次。是的,视图显示相同的内容,查询也可以是这
    从stl_扫描中选择tbl、perm_表名称、计数(不同查询)总计_查询,其中tbl='24542984'按tbl、perm_表名称分组完美!这正是问题所在。谢谢刚刚发布了改变来解决这个问题。现在,我们的视图只是最近3天的数据,我们使用最后一个时间序列值来查找最近3天运行的toal查询。我们的度量仍然是标准的,因为它可能会下降。谢谢Bill。注意,有人告诉我,系统表的清除基于总数据大小,而不是基于时间,尽管这是否准确是另一个问题。如果你有一个繁忙的系统,你将有更少的天的数据。这是正确的。我只看了3天,所以我认为有一个地板。