Azure data factory 从复制活动Azure数据工厂中的故障点恢复

Azure data factory 从复制活动Azure数据工厂中的故障点恢复,azure-data-factory,Azure Data Factory,假设我正在尝试使用ADF copy活动将表中的1000条记录从数据库复制到Azure SQL DB/Synapse。如果复制600条记录后复制活动失败,是否可以重新运行/重新启动管道,以使复制活动避免复制alreday已复制的记录(在先前的运行中复制了600条记录),并从剩余的400条记录中恢复复制操作?您必须在复制活动中添加自定义脚本以检查目标,然后仅从源中获取那些已复制的记录在目标中不可用 您可以在临时表中存储新记录,然后使用临时表插入目标表 谢谢 您必须在复制活动中添加自定义脚本以检查目标

假设我正在尝试使用ADF copy活动将表中的1000条记录从数据库复制到Azure SQL DB/Synapse。如果复制600条记录后复制活动失败,是否可以重新运行/重新启动管道,以使复制活动避免复制alreday已复制的记录(在先前的运行中复制了600条记录),并从剩余的400条记录中恢复复制操作?

您必须在复制活动中添加自定义脚本以检查目标,然后仅从源中获取那些已复制的记录在目标中不可用

您可以在临时表中存储新记录,然后使用临时表插入目标表

谢谢

您必须在复制活动中添加自定义脚本以检查目标,然后仅从源中获取目标中不可用的记录

您可以在临时表中存储新记录,然后使用临时表插入目标表


谢谢

您可以通过使用水印技术来实现,因为SQL是它的源代码。使用查找活动,在目标端获取表主键的最大值。一旦有了一个信息,创建一个SQL脚本从源表中提取数据,但添加过滤器 乙二醇


这应该可以做到。

您可以通过使用水印技术来实现,因为您有SQL作为其源代码。使用查找活动,在目标端获取表主键的最大值。一旦有了一个信息,创建一个SQL脚本从源表中提取数据,但添加过滤器 乙二醇


这应该可以解决问题。

@Scarface:如果这个答案有帮助,那么你能把它标记为一个答案吗,这样社区的其他人可以从中受益,谢谢@Scarface:如果这个答案有帮助,那么你们能把它标记为一个答案,这样社区的其他人就可以从中受益,谢谢!
SELECT  from your table 
WHERE   pkId  > '@{activity('Get WaterMark').output.firstrow.pkid}'