Azure data factory 如何使用azuredatafactory将多个文件从azure blob加载到azure synapse(Dw)?

Azure data factory 如何使用azuredatafactory将多个文件从azure blob加载到azure synapse(Dw)?,azure-data-factory,azure-container-service,azure-synapse,Azure Data Factory,Azure Container Service,Azure Synapse,我正在尝试使用azure数据工厂将多个文件从azure blob加载到azure sql dw。下面是我的代码。我面临突出显示的错误。有人建议吗。 我在这里粘贴我的adf代码json 在复制活动阶段,我将在下面突出显示 { "name": "DelimitedText11", "properties": { "linkedServiceName": { "referenceName": "AzureBlobStorage2",

我正在尝试使用azure数据工厂将多个文件从azure blob加载到azure sql dw。下面是我的代码。我面临突出显示的错误。有人建议吗。 我在这里粘贴我的adf代码json

在复制活动阶段,我将在下面突出显示

{
    "name": "DelimitedText11",
    "properties": {
        "linkedServiceName": {
            "referenceName": "AzureBlobStorage2",
            "type": "LinkedServiceReference"
        },
        "parameters": {
            "FileName": {
                "type": "string"
            }
        },
        "annotations": [],
        "type": "DelimitedText",
        "typeProperties": {
            "location": {
                "type": "AzureBlobStorageLocation",
                "fileName": {
                    "value": "@dataset().FileName",
                    "type": "Expression"
                },
                "container": "input"
            },
            "columnDelimiter": ",",
            "escapeChar": "",
            "firstRowAsHeader": true,
            "quoteChar": ""
        },
        "schema": []
    },
    "type": "Microsoft.DataFactory/factories/datasets"
}
错误:

{
        "errorCode": "2200",
        "message": "ErrorCode=UserErrorMissingPropertyInPayload,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=Required property 'fileName' is missing in payload.,Source=Microsoft.DataTransfer.ClientLibrary,'",
        "failureType": "UserError",
        "target": "Copy data1",
        "details": []
    }

如果要将多个文件从azure blob加载到azure SQL数据仓库,则必须在源数据集中设置通配符文件路径。或者,您将始终得到错误2200:

{
        "errorCode": "2200",
        "message": "ErrorCode=UserErrorMissingPropertyInPayload,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=Required property 'fileName' is missing in payload.,Source=Microsoft.DataTransfer.ClientLibrary,'",
        "failureType": "UserError",
        "target": "Copy data1",
        "details": []
    }
例如,我有两个具有相同模式的csv文件,并将它们加载到我的Azure SQL数据仓库表测试中

Csv文件:

源数据集:

源设置:选择源容器中的所有csv文件:

接收器数据集:

接收器设置:

映射:

设置:

执行管道并检查ADW中的数据:


希望这有帮助。

嗨,伊姆兰,你能发布更多信息吗?Data Factory主要是一个可视化环境,因此一些屏幕截图可能很有用。最好的猜测是,数据集的文件名在此活动之前未正确设置。嗨,joel,我希望添加屏幕截图,但社区不允许粘贴我全部代码的屏幕截图,如果你知道其他方法,请告诉我我很高兴与Shi Leon Yue分享屏幕截图,您能否提供将数据从azure blob加载到azure dw的完整信息。例如:emp.csv必须加载到emp表中,dept.csv必须加载到dept.table.by中datafactory@Imran我只是想知道如何将多个文件加载到一个ADW表中。现在仍在测试foreach活动以创建表。完成后请告诉我,兄弟,我也将尝试我的方法。@Imran Ok。但下次请把问题问得更清楚些。你能再发一个问题吗?我回答了如何将多个csv文件加载到一个ADW表。还是不知道下一个问题怎么回答你。您应该告诉我们您想要哪一个,加载csv文件以创建表或映射到ADW中的现有表。您好,以下是我的要求..在我的blob emp.csv中,有dept.csv和sales.csv文件。我正在尝试在sql dw中加载emp.csv-->dbo.emptable,,dept.csv-->dbo.depttable sales.csv-->dbo.salestable。我希望这能为您提供清晰的信息。这里我尝试的是:emp1.csv-->dbo.emp1 table dept.csv-->dbo.dept table sales.csv-->dbo.sales以上是虚拟名称,但要求相同