Azure data factory 如何在大型Azure数据体系结构（多个ADF、数据湖、Spark/Hadoop集群）中管理模式元数据？

人们如何在大型Azure数据体系结构中进行元数据管理？我特别感兴趣的是人们如何管理和版本化读数据架构上的模式。Azure数据目录不提供架构管理。ADF不提供在ADF之外使用的元数据存储，而且似乎也没有一个解决方案可以托管在ADF内使用的外部元数据存储（例如，从配置单元元存储读取数据集列表）。我知道您可以从HDInsight使用外部元存储，但这似乎错过了大多数ADF功能。AWS Glue数据目录似乎最接近我的设想（以及如何在多个AWS数据服务中使用它）。我希望微软也在做类似的事情

选择似乎是：

• 开发自定义元数据管理解决方案，并根据需要推送到ADF和配置单元元存储
• 掌握配置单元元存储中的元数据并提取到ADF数据集
• 作为ADF数据集掌握元数据，并推送到配置单元元存储

问题：人们如何管理大型Azure数据架构（例如，多个ADF、数据湖、Spark群集）中的架构