Snowflake cloud data platform 如何计划雪花使用监控

Snowflake cloud data platform 如何计划雪花使用监控,snowflake-cloud-data-platform,Snowflake Cloud Data Platform,雪花基本上是一个云数据仓库。Snowflake中的基本工作单元是查询。为了监视负载,我们需要以一定的间隔监视查询负载 两个可用选项: 1. INFORMATION_SCHEMA Schema 2. ACCOUNT_USAGE Schema 这两个模式都包含查询历史视图。在这里,可以使用任一模式创建监控仪表板。但我们需要了解这些模式的局限性,下面是我们的发现 在中查询历史视图: 1. INFORMATION_SCHEMA Schema 2. ACCOUNT_USAGE Schema 信

雪花基本上是一个云数据仓库。Snowflake中的基本工作单元是查询。为了监视负载,我们需要以一定的间隔监视查询负载

两个可用选项

1.  INFORMATION_SCHEMA Schema
2.  ACCOUNT_USAGE Schema
这两个模式都包含查询历史视图。在这里,可以使用任一模式创建监控仪表板。但我们需要了解这些模式的局限性,下面是我们的发现

中查询历史视图:

1.  INFORMATION_SCHEMA Schema
2.  ACCOUNT_USAGE Schema
信息\u模式:它只包含10000条记录。在这种情况下,无法预测结果数据是否属于所需的持续时间。因为可以根据当时的交通量插入10K行。在这种情况下,模式结果的信息可能不一致。 它包含14天间隔或10K记录的数据

帐户使用情况:它包含1年的数据,延迟45分钟

结论: 在这种情况下,所需的数据分析是连续的,而不仅仅是使用信息模式


在这种情况下,所需的数据分析可以容纳比应使用的帐户使用模式延迟45分钟的延迟。

使用内部工具,我们以10分钟的分辨率轮询
信息\u模式
,我认为如果当前块不满足当前,如果我们得到了10K的结果,在批中添加第一次

然后我们将其放入XDB中,这样我们就可以对其进行图形化并发出警报。主要的缺点是,获取历史记录的查询本身就是一个查询,因此,如果您遇到队列时间(并且使用同一个仓库也有延迟)和更老的问题,如果您的帐户连接限制已饱和,您也无法进入,以查看帐户饱和的原因,并且在这种状态下,您也无法登录到UI。为了解决这个问题,我们对所有的工具设置了限制,所以不要达到限制

我们目前每天进行约300-400K的查询,上述方法对我们很有效