Azure Data Factory HDI按需定制元存储暂时故障

Azure Data Factory HDI按需定制元存储暂时故障,azure,azure-data-factory,azure-hdinsight,azure-data-factory-2,azure-sql-server,Azure,Azure Data Factory,Azure Hdinsight,Azure Data Factory 2,Azure Sql Server,我们有一个Azure数据工厂,其中有大约40个管道,每个管道都有一个活动,可以使用HDInsight on demand链接服务运行配置单元脚本 此后,我们添加了一个自定义元存储,它使用azure SQL实例作为存储链接服务。我们唯一能够实现这一点的就是数据工厂ARM脚本中的HcatalogLinkedServiceName 自从这样做以来,我们注意到活动失败的增加,我们的性能下降(这可能是由于我们以前使用的Azure SQL层的DTU使用率达到了100%) 活动失败,活动中出现错误:请求已中止

我们有一个Azure数据工厂,其中有大约40个管道,每个管道都有一个活动,可以使用HDInsight on demand链接服务运行配置单元脚本

此后,我们添加了一个自定义元存储,它使用azure SQL实例作为存储链接服务。我们唯一能够实现这一点的就是数据工厂ARM脚本中的
HcatalogLinkedServiceName

自从这样做以来,我们注意到活动失败的增加,我们的性能下降(这可能是由于我们以前使用的Azure SQL层的DTU使用率达到了100%)

活动失败,活动中出现
错误:请求已中止:请求已取消。

这在使用自定义元存储时似乎是相当一致的,在使用默认值时似乎不是问题

配置自定义元存储是否还需要任何我们可能遗漏的内容,或者此处描述的关于我们的配置/使用的任何内容,这些内容可能表明我们遇到上述错误的故障显著增加的原因。

HDI OnDemand操作系统是linux,版本是3.2

我们也有一些更严重的错误,但我认为这可能是因为我们将一个3.3 HDI集群连接到与我们的3.2随需应变集群相同的元存储。这是本文件建议反对的

确保为一个HDInsight群集版本创建的元存储不在不同的HDInsight群集版本之间共享。这是因为不同的配置单元版本具有不同的模式。示例–Hive 1.2和Hive 2.1群集试图使用相同的元存储。

这似乎也表明hive和hcatalog在3.2和3.3之间有突破性的变化


抱歉,非常详细,但问题是什么?用粗体添加了意图。我同意,在最初的情况下,这是一个小曲折。