Monitoring 对于普罗米修斯来说,高标签基数但低度量/标签计数和不频繁采样是否是可接受的用例?

Monitoring 对于普罗米修斯来说,高标签基数但低度量/标签计数和不频繁采样是否是可接受的用例?,monitoring,prometheus,Monitoring,Prometheus,我有一个监视用例,我不完全确定它是否是一个好的方法 是否与普罗米修斯匹配,我想在深入研究之前征求意见 更深 我将要存储的内容的编号: 只有1米。 该指标有一个标签,标签上有1000000到2000000个不同的值。 这些值是仪表(但如果它们是计数器,会有区别吗?) 采样率为每5分钟一次。将数据保留180天 如果我有100万个不同的标签值,则估计存储大小: (根据普罗米修斯文档中的公式:保留时间秒* 每秒钟摄取的样本数*每样本数字节数) 所以我假设需要100-200GB 这个估计正确吗 我在多个地

我有一个监视用例,我不完全确定它是否是一个好的方法 是否与普罗米修斯匹配,我想在深入研究之前征求意见 更深

我将要存储的内容的编号:

只有1米。 该指标有一个标签,标签上有1000000到2000000个不同的值。 这些值是仪表(但如果它们是计数器,会有区别吗?) 采样率为每5分钟一次。将数据保留180天

如果我有100万个不同的标签值,则估计存储大小:

(根据普罗米修斯文档中的公式:保留时间秒* 每秒钟摄取的样本数*每样本数字节数)

所以我假设需要100-200GB

  • 这个估计正确吗

  • 我在多个地方读到关于避免使用高基数标签的内容,我会 我想问问这件事考虑到我一次只看一个时间序列高基数标签有问题吗?或 有大量的时间序列?因为每个标签值都会产生另一个标签值 时间序列?我也读过很多普罗米修斯可以处理的地方 一次有数百万个时间序列,所以即使我有一个100万的标签 不同的值,就时间序列计数而言,我应该很好,我必须这样做吗 在这种情况下,担心标签具有高基数吗?我知道 这取决于服务器的强度,但假设平均容量为 想知道普罗米修斯的实施在处理这个问题上有没有问题 有效地进行案例分析

  • 还有,如果这是一个时间序列计数的问题,我的假设正确吗 它不会对以下各项产生重大影响 选择

  • 1个度量,1个标签包含1000000个不同的标签值
  • 10个指标,每个指标有一个100000个不同标签值的标签
  • X个指标,每个指标有一个Y不同标签值的标签。 其中X*Y=1000000

  • 谢谢你的帮助

    这可能行得通,但这不是普罗米修斯的设计目的,你可能会遇到问题。你可能想要一个数据库而不是一个监控系统,这里可能是卡桑德拉


    基数在度量中的划分方式不会影响摄取性能,但在查询中读取1M系列的速度相对较慢。

    请注意,Victoria metrics是普罗米修斯易于配置的后端,这将显著降低存储需求。

    感谢您的评论!不需要在一个查询中读取1M系列,一次只读取一个查询。知道了这一点,这会改变你的答案吗?我将编辑我的问题以反映这一点
    (24*60)/5=288 5-minute intervals in a day.
    
    (180*288)           * (1,000,000)       * 2 = 103,680,000,000 ~= 100GB
    samples/label-value   label-value-count   bytes/sample