Azure data factory Azure Data Lake的通配符在数据工厂中存储输入
我正在查看上的Microsoft文档,并找到有关Azure data factory Azure Data Lake的通配符在数据工厂中存储输入,azure-data-factory,azure-data-lake,Azure Data Factory,Azure Data Lake,我正在查看上的Microsoft文档,并找到有关fileName属性的以下内容: Azure Data Lake存储中的文件名文件名是可选的,区分大小写。如果指定文件名,“活动”(包括副本)将在特定文件上运行。“ 这里我没有提到通配符。例如,我如何使用文件夹中的所有文件,而只使用与2017 foo-*.json匹配的文件?我尝试了星号,但它看起来是字面意思。根据您的源和接收器,您可能可以改为使用fileFilter属性要使用通配符的文件名,例如引用自: 允许的值为:*(多个字符)和?(单个字符)
fileName
属性的以下内容:
Azure Data Lake存储中的文件名<代码>文件名是可选的,区分大小写。如果指定文件名,“活动”(包括副本)将在特定文件上运行。“
这里我没有提到通配符。例如,我如何使用文件夹中的所有文件,而只使用与
2017 foo-*.json
匹配的文件?我尝试了星号,但它看起来是字面意思。根据您的源和接收器,您可能可以改为使用fileFilter
属性要使用通配符的文件名,例如引用自:
允许的值为:*(多个字符)和?(单个字符)
示例1:“文件过滤器”:“*.log”
示例2:“文件过滤器”:
2014-1-?.txt“
请注意,fileFilter适用于输入FileShare数据集
此示例适用于on-prem文件共享:
{
"name": "InputDataset-AllFiles",
"properties": {
"published": false,
"type": "FileShare",
"linkedServiceName": "OnPremisesFileServerLinkedService",
"typeProperties": {
"fileFilter": "*.txt",
"folderPath": "."
},
"availability": {
"frequency": "Day",
"interval": 1
},
"external": true,
"policy": {}
}
}
我不确定该属性是否适用于其他类型,如blob存储、data lake等。您能否确认您的源和接收器(假设其中一个是data lake)
有关更多信息,请访问:
因此,您可以通过这种方式移动数据,而无需这些ADF恶作剧。来源是data Lake Store。Sink是数据仓库。Polybase现在支持ADL,因此您可以通过这种方式移动数据,而无需这些ADF诡计。