Azure data factory 连接并散列流中的所有字段

Azure data factory 连接并散列流中的所有字段,azure-data-factory,azure-data-factory-2,Azure Data Factory,Azure Data Factory 2,我试图创建一个向现有列添加两列的流。第一个是来自键字段的MD5哈希,第二个是来自所有其他字段的MD5哈希。字段的数量(键和所有其他字段)可能会有所不同。我想我可以通过流参数传递键和数据字段的列表,例如,键字段将存储键列元数据和所有其他列的数据字段元数据。我尝试为DerivedColumn活动找到一个函数,类似这样(在伪代码中): 可能还有别的办法吗? 我的流量是 Azure Blob存储(csv)->DerivedColumn->Azure Blob存储(csv)您可以尝试以下想法: 步骤1:用

我试图创建一个向现有列添加两列的流。第一个是来自键字段的MD5哈希,第二个是来自所有其他字段的MD5哈希。字段的数量(键和所有其他字段)可能会有所不同。我想我可以通过流参数传递键和数据字段的列表,例如,键字段将存储键列元数据和所有其他列的数据字段元数据。我尝试为DerivedColumn活动找到一个函数,类似这样(在伪代码中):

可能还有别的办法吗? 我的流量是


Azure Blob存储(csv)->DerivedColumn->Azure Blob存储(csv)

您可以尝试以下想法:

步骤1:用于从Azure Blob存储中获取数据

步骤2:将数据传递到。在Azure函数中,您可以使用.net代码或其他语言执行md5操作

步骤3:将Azure函数的输出作为源传递到复制活动中,并将Blob存储配置为接收器

md5(foreach(key:$KeyFields) { concat(concatKeys,key) })