Monitoring 监视Azure数据湖存储

我将数据存储在每个文件夹中data Lake store中的XML文件中，就像一个文件夹构成一个源系统一样

在每天结束时，我想运行一些日志分析，以了解每个文件夹下的Data Lake Store中存储了多少新的XML文件？。我启用了诊断日志，还添加了OMS日志分析套件

---

我想知道实现上述报告的最佳方法是什么？

可以做一些汇总报告（甚至创建警报/通知）。使用日志分析，您可以创建一个查询，在将文件写入Azure Data Lake存储时根据公共根路径或文件命名搜索任何实例：

AzureDiagnostics
| where ( ResourceProvider == "MICROSOFT.DATALAKESTORE" )
| where ( OperationName == "create" )
| where ( Path_s contains "/webhdfs/v1/##YOUR PATH##")

或者，最后一行也可以是：

| where ( Path_s contains ".xml")

…或两者兼而有之

然后，您可以使用此查询创建警报，该警报将在给定的时间间隔（例如，每24小时）内通知您已创建的文件数

根据需要，您可以通过以下方式格式化查询：

• 如果使用通用文件命名，则可以在路径包含所述文件命名的位置找到匹配项
• 如果使用公共路径，则可以在修补程序与公共路径匹配的位置找到匹配项
• 如果希望收到所有实例（而不仅仅是特定实例）的通知，可以使用聚合查询，并在达到/超过阈值时发出警报（即1个或多个事件）：

通过查询，您可以按照此博文中的步骤创建警报：

如果您有更多问题或需要更多详细信息，请告知我们

AzureDiagnostics
| where ( ResourceProvider == "MICROSOFT.DATALAKESTORE" )
| where ( OperationName == "create" )
| where ( Path_s contains ".xml")
| summarize AggregatedValue = count(OperationName) by bin(TimeGenerated, 24h), OperationName