获取Azure Data Factory期间未能同步的记录;“复制数据”;步

获取Azure Data Factory期间未能同步的记录;“复制数据”;步,azure,azure-data-factory,azure-cognitive-search,Azure,Azure Data Factory,Azure Cognitive Search,在某种程度上,是否可以获取在Azure Data Factory复制数据操作执行期间失败的行或有关行的任何信息,并将其传递给管道中的下一个操作 目前,我将Azure Sql数据库中的数据同步到Azure搜索索引中。我选择“跳过并记录不兼容的行”作为容错操作。 在文档中,我找到了下一个信息: 此外,您可以在Azure Blob存储中记录不兼容的行 或者Azure数据湖商店。然后,您可以检查日志以了解 导致失败的原因,请修复数据源上的数据,然后重试 复制活动 但我真的很想为失败的行提供一些非手动的重

在某种程度上,是否可以获取在Azure Data Factory复制数据操作执行期间失败的行或有关行的任何信息,并将其传递给管道中的下一个操作

目前,我将Azure Sql数据库中的数据同步到Azure搜索索引中。我选择“跳过并记录不兼容的行”作为容错操作。 在文档中,我找到了下一个信息:

此外,您可以在Azure Blob存储中记录不兼容的行 或者Azure数据湖商店。然后,您可以检查日志以了解 导致失败的原因,请修复数据源上的数据,然后重试 复制活动


但我真的很想为失败的行提供一些非手动的重新同步方式。有什么方法可以做到开箱即用(无需创建任何从存储中获取日志文件、解析日志文件并重新同步的自定义操作)?我觉得容错选项“添加动态内容”可以做到这一点,但它的功能并不丰富,并且受到使用很少函数和运行时变量的限制。

容错功能不支持自动重新同步

如果您想这样做,我认为您可以连接复制活动之后的任何活动,该活动将在复制完成时触发。然后故障存储将包含坏数据,您可以对其运行任何活动

故障数据csv格式为

data1、data2、data3,“UserErrorInvalidDataValue”,“列'Prop_2'包含无效值'data3'。无法将'data3'转换为类型'DateTime' data4、data5、data6,“2627”,“违反主键约束'PK_tblintstrdatetimewithpk'。无法在对象'dbo.tblintstrdatetimewithpk'中插入重复的键。重复的键值为(data4)。”


谢谢你的数据格式,这会很方便。是的,我知道我可以手动完成,但正如我之前提到的,我正在搜索“开箱即用的任何方法(不创建任何从存储获取日志文件的自定义操作)”,正如我提到的,“开箱即用的任何方法(不创建任何从存储获取日志文件的自定义操作)”都不受支持。我想这是唯一的办法。