Azure data factory 迭代Azure数据工厂中的每个文件夹
在我们的DataLake存储中,我们每天都会收到数量不明的文件夹。每个文件夹至少包含一个文件Azure data factory 迭代Azure数据工厂中的每个文件夹,azure-data-factory,azure-data-lake,azure-data-factory-2,Azure Data Factory,Azure Data Lake,Azure Data Factory 2,在我们的DataLake存储中,我们每天都会收到数量不明的文件夹。每个文件夹至少包含一个文件 Example of folders: FolderA |_/2020 |_/03 |_/12 |_fileA.json |_/04 |_/13 |_fileB.json FolderB |_/2020 |_
Example of folders:
FolderA
|_/2020
|_/03
|_/12
|_fileA.json
|_/04
|_/13
|_fileB.json
FolderB
|_/2020
|_/03
|_/12
|_fileC.json
Folder C/...
Folder D/...
So on..
现在:
1.如何迭代每个文件夹并获取其中的文件
我还想从每个文件中“复制数据”,并从中生成一个.csv文件。实现这一目标的最佳方法是什么?
这可以通过在源数据集中使用通配符筛选的单个复制活动来完成,如下所示: 然后在“复制”活动的“接收器”选项卡中,选择“复制行为”中的“合并文件”,如下所示: 如果您有额外的需求,另一种方法是使用映射数据流。Mark Kromer在这里解释了一个类似的场景: 希望这有帮助