Azure data factory 如何使用azuredatafactory将多个文件从azure blob加载到azure synapse(Dw)?
我正在尝试使用azure数据工厂将多个文件从azure blob加载到azure sql dw。下面是我的代码。我面临突出显示的错误。有人建议吗。 我在这里粘贴我的adf代码json 在复制活动阶段,我将在下面突出显示Azure data factory 如何使用azuredatafactory将多个文件从azure blob加载到azure synapse(Dw)?,azure-data-factory,azure-container-service,azure-synapse,Azure Data Factory,Azure Container Service,Azure Synapse,我正在尝试使用azure数据工厂将多个文件从azure blob加载到azure sql dw。下面是我的代码。我面临突出显示的错误。有人建议吗。 我在这里粘贴我的adf代码json 在复制活动阶段,我将在下面突出显示 { "name": "DelimitedText11", "properties": { "linkedServiceName": { "referenceName": "AzureBlobStorage2",
{
"name": "DelimitedText11",
"properties": {
"linkedServiceName": {
"referenceName": "AzureBlobStorage2",
"type": "LinkedServiceReference"
},
"parameters": {
"FileName": {
"type": "string"
}
},
"annotations": [],
"type": "DelimitedText",
"typeProperties": {
"location": {
"type": "AzureBlobStorageLocation",
"fileName": {
"value": "@dataset().FileName",
"type": "Expression"
},
"container": "input"
},
"columnDelimiter": ",",
"escapeChar": "",
"firstRowAsHeader": true,
"quoteChar": ""
},
"schema": []
},
"type": "Microsoft.DataFactory/factories/datasets"
}
错误:
{
"errorCode": "2200",
"message": "ErrorCode=UserErrorMissingPropertyInPayload,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=Required property 'fileName' is missing in payload.,Source=Microsoft.DataTransfer.ClientLibrary,'",
"failureType": "UserError",
"target": "Copy data1",
"details": []
}
如果要将多个文件从azure blob加载到azure SQL数据仓库,则必须在源数据集中设置通配符文件路径。或者,您将始终得到错误2200:
{
"errorCode": "2200",
"message": "ErrorCode=UserErrorMissingPropertyInPayload,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=Required property 'fileName' is missing in payload.,Source=Microsoft.DataTransfer.ClientLibrary,'",
"failureType": "UserError",
"target": "Copy data1",
"details": []
}
例如,我有两个具有相同模式的csv文件,并将它们加载到我的Azure SQL数据仓库表测试中
Csv文件:
源数据集:
源设置:选择源容器中的所有csv文件:
接收器数据集:
接收器设置:
映射:
设置:
执行管道并检查ADW中的数据:
希望这有帮助。嗨,伊姆兰,你能发布更多信息吗?Data Factory主要是一个可视化环境,因此一些屏幕截图可能很有用。最好的猜测是,数据集的文件名在此活动之前未正确设置。嗨,joel,我希望添加屏幕截图,但社区不允许粘贴我全部代码的屏幕截图,如果你知道其他方法,请告诉我我很高兴与Shi Leon Yue分享屏幕截图,您能否提供将数据从azure blob加载到azure dw的完整信息。例如:emp.csv必须加载到emp表中,dept.csv必须加载到dept.table.by中datafactory@Imran我只是想知道如何将多个文件加载到一个ADW表中。现在仍在测试foreach活动以创建表。完成后请告诉我,兄弟,我也将尝试我的方法。@Imran Ok。但下次请把问题问得更清楚些。你能再发一个问题吗?我回答了如何将多个csv文件加载到一个ADW表。还是不知道下一个问题怎么回答你。您应该告诉我们您想要哪一个,加载csv文件以创建表或映射到ADW中的现有表。您好,以下是我的要求..在我的blob emp.csv中,有dept.csv和sales.csv文件。我正在尝试在sql dw中加载emp.csv-->dbo.emptable,,dept.csv-->dbo.depttable sales.csv-->dbo.salestable。我希望这能为您提供清晰的信息。这里我尝试的是:emp1.csv-->dbo.emp1 table dept.csv-->dbo.dept table sales.csv-->dbo.sales以上是虚拟名称,但要求相同