Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/list/4.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Azure sql database Azure数据工厂管道挂起/超时_Azure Sql Database_Data Warehouse_Pipeline_Azure Data Factory - Fatal编程技术网

Azure sql database Azure数据工厂管道挂起/超时

Azure sql database Azure数据工厂管道挂起/超时,azure-sql-database,data-warehouse,pipeline,azure-data-factory,Azure Sql Database,Data Warehouse,Pipeline,Azure Data Factory,我正在构建一个数据仓库,我正在从两个源系统(a和B)提取数据,主管道并行执行它们,这两个系统是独立的: 提取是通过一组查询完成的,这些查询存储在表中的DB中,并由每个管道读取: 当两个管道并行运行时,一些查找和复制操作在4:40后挂起并失败:(对象和管道超时设置为7天-默认值) 然后两条管道都出现故障: 当我一次运行一个时,它们有时会成功完成: 我怀疑这可能是Azure数据工厂、SQL Server或其他方面的某种加载问题,我在运行管道时看到日志IO出现峰值。我该如何处理这种对任何DW

我正在构建一个数据仓库,我正在从两个源系统(a和B)提取数据,主管道并行执行它们,这两个系统是独立的:

提取是通过一组查询完成的,这些查询存储在表中的DB中,并由每个管道读取:

当两个管道并行运行时,一些查找和复制操作在4:40后挂起并失败:(对象和管道超时设置为7天-默认值)

然后两条管道都出现故障:

当我一次运行一个时,它们有时会成功完成:

我怀疑这可能是Azure数据工厂、SQL Server或其他方面的某种加载问题,我在运行管道时看到日志IO出现峰值。我该如何处理这种对任何DWH来说都是经典的场景?(即从源系统复制到暂存区)


我可以计时/同步每个动作吗?我不想构建自己的编排解决方案。

你说“当我一次运行一个编排解决方案时,它们有时会成功完成”。当它们失败时,一次运行一个时,是相同的超时错误吗?是的,我得到了相同的无关Https超时错误短更新-Microsoft infrastructure Azure Data Factory存在(现在仍然存在)内部问题。我和他们的支持者联系过你找到解决办法了吗?这里也有同样的问题,除了在将近20秒时超时外,几个月后我放弃了ADF,开始使用Talend。此后从未出现过可靠性问题:)