在使用ADF v2上载数据之前在azure存储中创建容器
提前感谢,我是ADF新手,已经从ADF门户创建了一个管道。源本地服务器文件夹和目标数据集是Azure Blob存储。我使用的是翻滚窗口,它传递日期和开始时间 日期结束时间,仅使用lastmodified datetime上载最新数据 查询:如果我想在azure存储中动态创建子容器,我使用/container/$monthvariable,它会根据month变量自动创建子容器 这里的例子是我的来源在使用ADF v2上载数据之前在azure存储中创建容器,azure,azure-storage,azure-data-factory-2,Azure,Azure Storage,Azure Data Factory 2,提前感谢,我是ADF新手,已经从ADF门户创建了一个管道。源本地服务器文件夹和目标数据集是Azure Blob存储。我使用的是翻滚窗口,它传递日期和开始时间 日期结束时间,仅使用lastmodified datetime上载最新数据 查询:如果我想在azure存储中动态创建子容器,我使用/container/$monthvariable,它会根据month变量自动创建子容器 这里的例子是我的来源 dfac/ $monthvariable = 5 如果我把 dfac/$monthvariable
dfac/
$monthvariable = 5
如果我把
dfac/$monthvariable
然后所有文件都将在dfac/5/下上传,如下所示
dfac/5/file1
dfac/5/file2
dfac/5/file3
在ADF中,我想得到管道月份,并将其添加到管道中。这就是我能做的吗?在哪里可以定义变量
{
"name": "Destination",
"value": "dfac/$monthvariable"// does it work and is this the right way to do this stuff
}
我的实际代码如下所示
{
"name": "Copy_ayy",
"type": "Copy",
"policy": {
"timeout": "7.00:00:00",
"retry": 2,
"retryIntervalInSeconds": 30,
"secureOutput": false,
"secureInput": false
},
"userProperties": [
{
"name": "Source",
"value": "/*"
},
{
"name": "Destination",
"value": "dfac/"
}
],
"typeProperties": {
"source": {
"type": "FileSystemSource",
"recursive": true
},
"sink": {
"type": "BlobSink",
"copyBehavior": "PreserveHierarchy"
},
"enableStaging": false
},
"inputs": [
{
"referenceName": "SourceDataset_ayy",
"type": "DatasetReference",
"parameters": {
"cw_modifiedDatetimeStart": "@pipeline().parameters.windowStart",
"cw_modifiedDatetimeEnd": "@pipeline().parameters.windowEnd"
}
}
],
"outputs": [
{
"referenceName": "DestinationDataset_ayy",
"type": "DatasetReference"
}
]
}
我相信您正在使用复制数据工具。然后您还可以使用它来帮助您完成目标路径部分。它将帮助您创建参数。
谢谢方,这很简单,但很隐蔽。再次感谢