Azure data factory ADX缓存利用率超过100%的含义

Azure data factory ADX缓存利用率超过100%的含义,azure-data-factory,azure-data-explorer,Azure Data Factory,Azure Data Explorer,我们在Azure portal上看到了ADX集群的缓存利用率仪表板,但有时我注意到该利用率超过100%。我试图理解如何解释它。例如,如果缓存利用率显示为250%,是否意味着100%的内存缓存被利用,然后超过150%的磁盘缓存被利用?如缓存利用率指标中所述: [这是]群集当前正在使用的已分配缓存资源的百分比 Cache是根据定义的缓存策略为用户活动分配的SSD大小 平均缓存利用率为80%或更低是群集的可持续状态 如果平均缓存利用率高于80%,则应将群集扩展到存储优化的定价层,或扩展到更多实例。或者

我们在Azure portal上看到了ADX集群的缓存利用率仪表板,但有时我注意到该利用率超过100%。我试图理解如何解释它。例如,如果缓存利用率显示为250%,是否意味着100%的内存缓存被利用,然后超过150%的磁盘缓存被利用?

如缓存利用率指标中所述:

[这是]群集当前正在使用的已分配缓存资源的百分比

Cache是根据定义的缓存策略为用户活动分配的SSD大小

平均缓存利用率为80%或更低是群集的可持续状态

如果平均缓存利用率高于80%,则应将群集扩展到存储优化的定价层,或扩展到更多实例。或者,调整缓存策略(缓存中的天数更少)

如果缓存利用率超过100%,根据缓存策略,要缓存的数据的大小将大于集群上缓存的总大小

如缓存利用率指标的中所述:

[这是]群集当前正在使用的已分配缓存资源的百分比

Cache是根据定义的缓存策略为用户活动分配的SSD大小

平均缓存利用率为80%或更低是群集的可持续状态

如果平均缓存利用率高于80%,则应将群集扩展到存储优化的定价层,或扩展到更多实例。或者,调整缓存策略(缓存中的天数更少)

如果缓存利用率超过100%,根据缓存策略,要缓存的数据的大小将大于集群上缓存的总大小


假设我们已经为ADX集群启用了优化的自动缩放(上限为100),缓存利用率超过100%,而自动缩放并没有一直扩展到100——这是自相矛盾的,对吗?因为如果缓存利用率超过80%,并且如果有增加节点数量的空间,优化的自动缩放肯定会将其放大,对吗?那么,是否存在优化的自动缩放在缓存利用率超过100%的情况下不会将节点数量增加到最高限制的情况?至少有两种解释-1)优化的自动缩放周期性运行,并且自您最近提高缓存利用率以来,它可能还没有启动;2) 您所在区域存在容量问题,这会阻止向集群添加新节点。如果您看到意外行为,我建议您使用Azure portal为您的资源打开一个支持票证。当摄取利用率>100%时,群集上没有足够的SSD存储来容纳指定的缓存量——因此,当它说摄取利用率为300%时,t表示全部(100%)SSD的一部分已经用完了,除此之外,我们还有200%的SSD需求(我们有如此多的数据要存储在缓存中,如果我们有200%的SSD,它将完全用完),但现在既然我们所有的100%缓存都用完了,剩下的200%数据是如何存储的?它是否存储为磁盘缓存?所以磁盘的一部分也被用作缓存?--这与驻留在磁盘上的正常数据有何不同?听起来您似乎觉得缓存主要基于内存,而不是基于SSD。事实恰恰相反。请参阅我在初始答复中包含的文档中的报价。我还建议您阅读技术白皮书-它将帮助您更好地理解技术的内部:好的,我知道了,但是如果由于SSD小于缓存策略中指定的数据量而无法加载到SSD,那么数据驻留在哪里?我认为它只会停留在磁盘(冷存储)上,然后从那里获取,这显然会很慢——因此,当我们看到缓存利用率非常高,如300%等时,这只意味着只有33%(三分之一)的数据可以加载到SSD,其余66%(三分之二)的数据只能从磁盘引用。只是想验证一下这个基本假设。假设我们已经为ADX集群启用了优化的自动缩放功能(上限指定为100),缓存利用率超过100%,而自动缩放功能并没有一直扩展到100,这是自相矛盾的,对吗?因为如果缓存利用率超过80%,并且如果有增加节点数量的空间,优化的自动缩放肯定会将其放大,对吗?那么,是否存在优化的自动缩放在缓存利用率超过100%的情况下不会将节点数量增加到最高限制的情况?至少有两种解释-1)优化的自动缩放周期性运行,并且自您最近提高缓存利用率以来,它可能还没有启动;2) 您所在区域存在容量问题,这会阻止向集群添加新节点。如果您看到意外行为,我建议您使用Azure portal为您的资源打开一个支持票证。当摄取利用率>100%时,群集上没有足够的SSD存储来容纳指定的缓存量——因此,当它说摄取利用率为300%时,t表示全部(100%)SSD的一部分已经用完了,除此之外,我们还有200%的SSD需求(我们有如此多的数据要存储在缓存中,如果我们有200%的SSD,它将完全用完),但现在既然我们所有的100%缓存都用完了,剩下的200%数据是如何存储的?它是否存储为磁盘缓存?所以磁盘的一部分也被用作缓存?--这与驻留在磁盘上的正常数据有何不同?听起来您似乎觉得缓存主要基于内存,而不是基于SSD。事实恰恰相反。请参阅我在初始答复中包含的文档中的报价。我还建议你检查一下技术