Azure数据工厂在活动中指定多个源类型
我有两个数据集,一个是文件共享DS1,另一个是BlobSource DS2。我定义了一个带有一个复制活动的管道,它需要将文件从DS1复制到DS3 BlobSource,并将依赖项指定为DS2。活动规定如下:Azure数据工厂在活动中指定多个源类型,azure,pipeline,azure-data-factory,Azure,Pipeline,Azure Data Factory,我有两个数据集,一个是文件共享DS1,另一个是BlobSource DS2。我定义了一个带有一个复制活动的管道,它需要将文件从DS1复制到DS3 BlobSource,并将依赖项指定为DS2。活动规定如下: { "type": "Copy", "typeProperties": { "source": { "type": "FileShare"
{
"type": "Copy",
"typeProperties": {
"source": {
"type": "FileShare"
},
"sink": {
"type": "BlobSource"
}
},
"inputs": [
{
"name": "FoodGroupDescriptionsFileSystem"
},
{
"name": "FoodGroupDescriptionsInputBlob"
}
],
"outputs": [
{
"name": "FoodGroupDescriptionsAzureBlob"
}
],
"policy": {
"timeout": "01:00:00",
"concurrency": 1,
"executionPriorityOrder": "NewestFirst"
},
"scheduler": {
"frequency": "Minute",
"interval": 15
},
"name": "FoodGroupDescriptions",
"description": "#1 Bulk Import FoodGroupDescriptions"
}
在这里,如何同时指定FileShare和BlobSource的多个源类型?当我尝试传递为列表时,它会抛出错误。复制活动不喜欢多个输入或输出。它只能执行1对1的复制。。。它甚至不会更改输出数据集中的文件名,更不用说合并文件了 这可能是故意的,因此Microsoft可以向您收取更多的额外活动费用。但我们不要偏离主题 我建议使用1条管道将这两个文件复制到某种Azure存储中,每个文件使用1个单独的活动。然后有第二个下游管道,该管道有一个自定义活动来读取和合并/连接文件以生成单个输出 请记住,ADF不是SSIS那样的ETL工具。它只是用来调用其他Azure服务的。复制是一个复杂的过程