Azure data factory 如何在复制活动中动态映射文件以将数据加载到目标

Azure data factory 如何在复制活动中动态映射文件以将数据加载到目标,azure-data-factory,azure-data-factory-2,Azure Data Factory,Azure Data Factory 2,Azure Data factory V2-复制活动-将数据从更改列名和列数复制到目标。我必须从平面文件中复制数据,每个文件中的列数甚至列名都会发生变化。如何在复制活动中动态映射它们,以将数据加载到Azure data factory V2中的目标中 假设我的目的地有20列,但源有时会有10列或15列或20列。如果源列小于目标列,则目标中的剩余列值应作为Null传递。使用ADF中的数据流。如果愿意,数据流接收器可以动态生成表架构。或者,您可以将任何更改的模式“自动映射”到目标。如果您的源架构经常

Azure Data factory V2-复制活动-将数据从更改列名和列数复制到目标。我必须从平面文件中复制数据,每个文件中的列数甚至列名都会发生变化。如何在复制活动中动态映射它们,以将数据加载到Azure data factory V2中的目标中


假设我的目的地有20列,但源有时会有10列或15列或20列。如果源列小于目标列,则目标中的剩余列值应作为Null传递。

使用ADF中的数据流。如果愿意,数据流接收器可以动态生成表架构。或者,您可以将任何更改的模式“自动映射”到目标。如果您的源架构经常更改,只需使用“架构漂移”,而不在数据集中定义架构。

如果您需要完全灵活,最简单的方法是使用触发外部工具(如azure函数或DataRicks笔记本)的活动。我使用Databricks处理包含动态内容的大型文件。对于较小的文件,azure函数会更好。你在写什么样的接收器?接收器-Azure SQL数据库我同意马克·克罗默的观点。这可能是Azure SQL数据库接收器最简单的方法。