Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/sockets/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Azure data factory 迭代Azure数据工厂中的每个文件夹_Azure Data Factory_Azure Data Lake_Azure Data Factory 2 - Fatal编程技术网

Azure data factory 迭代Azure数据工厂中的每个文件夹

Azure data factory 迭代Azure数据工厂中的每个文件夹,azure-data-factory,azure-data-lake,azure-data-factory-2,Azure Data Factory,Azure Data Lake,Azure Data Factory 2,在我们的DataLake存储中,我们每天都会收到数量不明的文件夹。每个文件夹至少包含一个文件 Example of folders: FolderA |_/2020 |_/03 |_/12 |_fileA.json |_/04 |_/13 |_fileB.json FolderB |_/2020 |_

在我们的DataLake存储中,我们每天都会收到数量不明的文件夹。每个文件夹至少包含一个文件

Example of folders:

    FolderA

    |_/2020

       |_/03

          |_/12

              |_fileA.json

        |_/04

           |_/13

               |_fileB.json

    FolderB

    |_/2020

       |_/03

          |_/12

              |_fileC.json
Folder C/...
Folder D/...
So on..
现在: 1.如何迭代每个文件夹并获取其中的文件

我还想从每个文件中“复制数据”,并从中生成一个.csv文件。实现这一目标的最佳方法是什么?
这可以通过在源数据集中使用通配符筛选的单个复制活动来完成,如下所示:

然后在“复制”活动的“接收器”选项卡中,选择“复制行为”中的“合并文件”,如下所示:

如果您有额外的需求,另一种方法是使用映射数据流。Mark Kromer在这里解释了一个类似的场景:

希望这有帮助