Azure数据工厂复制活动加载XML文件花费的时间太长

Azure数据工厂复制活动加载XML文件花费的时间太长,azure,azure-data-factory,azure-data-factory-2,azure-data-factory-pipeline,Azure,Azure Data Factory,Azure Data Factory 2,Azure Data Factory Pipeline,我们每天在azure文件存储路径中都有一个传入的XML文件,我们正在使用ADF Copy活动将它们加载到azure SQL数据库中。源是一个引用XML文件的XML数据集,接收器是数据库中的一个表。如果文件大小约为500mb,复制活动将在3分钟内完成。但是当我们尝试一个680mb的文件时,它运行了将近5个小时。我们无法找到时间大幅增长背后的原因。我们试图更改DIU和并行设置,但没有帮助 你知道为什么装载时间会这么长吗 ADF XML复制活动是否有文件大小限制 除了在azure函数中重写逻辑之外,

我们每天在azure文件存储路径中都有一个传入的XML文件,我们正在使用ADF Copy活动将它们加载到azure SQL数据库中。源是一个引用XML文件的XML数据集,接收器是数据库中的一个表。如果文件大小约为500mb,复制活动将在3分钟内完成。但是当我们尝试一个680mb的文件时,它运行了将近5个小时。我们无法找到时间大幅增长背后的原因。我们试图更改DIU和并行设置,但没有帮助

  • 你知道为什么装载时间会这么长吗
  • ADF XML复制活动是否有文件大小限制
  • 除了在azure函数中重写逻辑之外,还有什么方法可以减少处理时间吗

任何帮助或建议都将不胜感激!谢谢

它似乎每天都要将一个大型xml文件复制到Azure SQL?是的。大约700mb。根据ADF标准,不确定这是否较大在foreach activity中运行复制活动如何?默认情况下,它将使用多线程复制。@约瑟夫:这是一个大文件。不是多个文件