Azure data factory Azure Data Lake的通配符在数据工厂中存储输入

Azure data factory Azure Data Lake的通配符在数据工厂中存储输入,azure-data-factory,azure-data-lake,Azure Data Factory,Azure Data Lake,我正在查看上的Microsoft文档,并找到有关fileName属性的以下内容: Azure Data Lake存储中的文件名文件名是可选的,区分大小写。如果指定文件名,“活动”(包括副本)将在特定文件上运行。“ 这里我没有提到通配符。例如,我如何使用文件夹中的所有文件,而只使用与2017 foo-*.json匹配的文件?我尝试了星号,但它看起来是字面意思。根据您的源和接收器,您可能可以改为使用fileFilter属性要使用通配符的文件名,例如引用自: 允许的值为:*(多个字符)和?(单个字符)

我正在查看上的Microsoft文档,并找到有关
fileName
属性的以下内容:

Azure Data Lake存储中的文件名<代码>文件名是可选的,区分大小写。如果指定文件名,“活动”(包括副本)将在特定文件上运行。“


这里我没有提到通配符。例如,我如何使用文件夹中的所有文件,而只使用与
2017 foo-*.json
匹配的文件?我尝试了星号,但它看起来是字面意思。

根据您的源和接收器,您可能可以改为使用
fileFilter
属性要使用通配符的文件名,例如引用自:

允许的值为:*(多个字符)和?(单个字符)

示例1:“文件过滤器”:“*.log”

示例2:“文件过滤器”: 2014-1-?.txt“

请注意,fileFilter适用于输入FileShare数据集

此示例适用于on-prem文件共享:

{
    "name": "InputDataset-AllFiles",
    "properties": {
        "published": false,
        "type": "FileShare",
        "linkedServiceName": "OnPremisesFileServerLinkedService",
        "typeProperties": {
            "fileFilter": "*.txt",
            "folderPath": "."
        },
        "availability": {
            "frequency": "Day",
            "interval": 1
        },
        "external": true,
        "policy": {}
    }
}
我不确定该属性是否适用于其他类型,如blob存储、data lake等。您能否确认您的源和接收器(假设其中一个是data lake)

有关更多信息,请访问:


因此,您可以通过这种方式移动数据,而无需这些ADF恶作剧。

来源是data Lake Store。Sink是数据仓库。Polybase现在支持ADL,因此您可以通过这种方式移动数据,而无需这些ADF诡计。