Azure storage 在Azure日志分析结果中处理超过30000条记录的策略?

Azure storage 在Azure日志分析结果中处理超过30000条记录的策略?,azure-storage,azure-log-analytics,kql,Azure Storage,Azure Log Analytics,Kql,我有一个非常活跃的ADLS Gen2存储帐户的日志分析诊断设置。目标是将上载到存储帐户内容器的Blob与Azure函数处理的Blob进行协调 问题:Azure日志分析不返回结果集>30k条记录 理想情况下,和解会同时发生;在一天结束时将传入的blob与已处理的blob进行比较 但如果有超过30k的记录,这似乎是不可能的。看来我得安排一些每小时一次的协调(不理想) 有哪些简单的处理方法?您可以在过滤器中使用光标。例如,您执行一个查询以获得一组对特定列进行排序的结果,该列最好是唯一的。然后只需将最

我有一个非常活跃的ADLS Gen2存储帐户的日志分析诊断设置。目标是将上载到存储帐户内容器的Blob与Azure函数处理的Blob进行协调

问题:Azure日志分析不返回结果集>30k条记录

理想情况下,和解会同时发生;在一天结束时将传入的blob与已处理的blob进行比较

但如果有超过30k的记录,这似乎是不可能的。看来我得安排一些每小时一次的协调(不理想)


有哪些简单的处理方法?

您可以在过滤器中使用光标。例如,您执行一个查询以获得一组对特定列进行排序的结果,该列最好是唯一的。然后只需将最后一个事件作为过滤器,并在后续请求中使用它来获得下一个结果。我不确定监控Garantues是否100%的传入请求可用


您还可以考虑使用适当的事件驱动资源。例如,您可以在资源上设置
事件网格订阅
,将blob创建事件推送到
队列
服务总线
。然后使用这些信息处理你的blob。

谢谢你的建议。我将尝试找到一个唯一的值,一个某种增量(时间戳、ID等)。我对设置EventGrid来建立监视其他EventGrid服务的日志记录有点犹豫。实际上,我可以通过排除某些
操作名来减少结果数。我真的不需要记录所有的
GetBlob
实例。只需执行
PutBlob
AppendBlob
操作。这有助于将数字保持在30k以下。