Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/azure/11.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Azure数据工厂在活动中指定多个源类型_Azure_Pipeline_Azure Data Factory - Fatal编程技术网

Azure数据工厂在活动中指定多个源类型

Azure数据工厂在活动中指定多个源类型,azure,pipeline,azure-data-factory,Azure,Pipeline,Azure Data Factory,我有两个数据集,一个是文件共享DS1,另一个是BlobSource DS2。我定义了一个带有一个复制活动的管道,它需要将文件从DS1复制到DS3 BlobSource,并将依赖项指定为DS2。活动规定如下: { "type": "Copy", "typeProperties": { "source": { "type": "FileShare"

我有两个数据集,一个是文件共享DS1,另一个是BlobSource DS2。我定义了一个带有一个复制活动的管道,它需要将文件从DS1复制到DS3 BlobSource,并将依赖项指定为DS2。活动规定如下:

  {
            "type": "Copy",
            "typeProperties": {
                "source": {
                    "type": "FileShare"
                },
                "sink": {
                    "type": "BlobSource"
                }
            },
            "inputs": [
                {
                    "name": "FoodGroupDescriptionsFileSystem"
                },
                {
                    "name": "FoodGroupDescriptionsInputBlob"
                }
            ],
            "outputs": [
                {
                    "name": "FoodGroupDescriptionsAzureBlob"
                }
            ],
            "policy": {
                "timeout": "01:00:00",
                "concurrency": 1,
                "executionPriorityOrder": "NewestFirst"
            },
            "scheduler": {
                "frequency": "Minute",
                "interval": 15
            },
            "name": "FoodGroupDescriptions",
            "description": "#1 Bulk Import FoodGroupDescriptions"
        }

在这里,如何同时指定FileShare和BlobSource的多个源类型?当我尝试传递为列表时,它会抛出错误。

复制活动不喜欢多个输入或输出。它只能执行1对1的复制。。。它甚至不会更改输出数据集中的文件名,更不用说合并文件了

这可能是故意的,因此Microsoft可以向您收取更多的额外活动费用。但我们不要偏离主题

我建议使用1条管道将这两个文件复制到某种Azure存储中,每个文件使用1个单独的活动。然后有第二个下游管道,该管道有一个自定义活动来读取和合并/连接文件以生成单个输出

请记住,ADF不是SSIS那样的ETL工具。它只是用来调用其他Azure服务的。复制是一个复杂的过程