Azure data factory 从Azure blob存储到Azure data lake存储的应对文件
我正在处理从Azure blob存储到Azure data lake存储的文件,我需要从年(文件夹)\月(文件夹)\天(txt文件以天为单位)中选择文件。我可以使用HADRCODE路径选择一个文件,但我无法每天选择文件并在Azure data lake存储中进行复制。谁能帮帮我吗 我正在使用ADF V2和UI设计器创建连接、数据集和管道。我的步骤很好地完成了Azure data factory 从Azure blob存储到Azure data lake存储的应对文件,azure-data-factory,azure-data-lake,Azure Data Factory,Azure Data Lake,我正在处理从Azure blob存储到Azure data lake存储的文件,我需要从年(文件夹)\月(文件夹)\天(txt文件以天为单位)中选择文件。我可以使用HADRCODE路径选择一个文件,但我无法每天选择文件并在Azure data lake存储中进行复制。谁能帮帮我吗 我正在使用ADF V2和UI设计器创建连接、数据集和管道。我的步骤很好地完成了 将文件从blob存储复制到data lake存储 从DataLake存储中拾取该文件,并通过usql处理转换数据 我正在Azure SQ
- 将文件从blob存储复制到data lake存储
- 从DataLake存储中拾取该文件,并通过usql处理转换数据
- 我正在Azure SQL DB中保存的转换数据
感谢提供分区文件路径部分,您可以查看。
您可以使用复制数据工具来处理它 但是我的usql也需要从azure data lake store中动态地选择这些文件,usql将如何从年、月、日、日中逐个选择这些文件?您可以将参数传递给您的usql脚本。本文件中有一个样本。希望它能有所帮助我无法在ADF V2中看到年、月和日选项您发送的链接我可以看到选项,一旦我使用反映在管道源上的参数更改数据集。谢谢,成功了。