如果使用azure datafactory存在就绪文件,如何加载csv文件

如果使用azure datafactory存在就绪文件,如何加载csv文件,azure,azure-data-factory,Azure,Azure Data Factory,我在单个文件夹中的azure文件共享中有filename.ready和filename.csv。使用azure data factory,我需要检查就绪文件如果就绪文件存在,我需要将csv文件加载到azure data lake容器中,在该容器中,我需要根据文件名将文件放入特定文件夹名,在datalake容器中会有许多文件夹,因此我需要放置以检查文件名是否=文件夹名,然后将文件放置在特定文件夹中。如何在azure数据工厂中执行此活动。需要哪些活动以及如何编写/添加动态内容遵循以下步骤: 创建两个

我在单个文件夹中的azure文件共享中有filename.ready和filename.csv。使用azure data factory,我需要检查就绪文件如果就绪文件存在,我需要将csv文件加载到azure data lake容器中,在该容器中,我需要根据文件名将文件放入特定文件夹名,在datalake容器中会有许多文件夹,因此我需要放置以检查文件名是否=文件夹名,然后将文件放置在特定文件夹中。如何在azure数据工厂中执行此活动。需要哪些活动以及如何编写/添加动态内容遵循以下步骤:

  • 创建两个名为folderName和fileName的变量

  • 使用GetMetadata活动获取文件共享中的文件列表

  • 按筛选器活动获取.ready文件

    项:
    @activity('Get Metadata1').output.childItems

    条件:
    @contains(item().name,.ready')

  • 按ForEach活动循环筛选活动的输出

    项目:
    @activity('Filter1').output.Value

  • 在ForEach活动中,首先设置folderName变量

    值:
    @split(item().name,'.')[0]

  • 使用GetMetaData活动检查特定文件夹是否存在。

    数据集设置:

  • 设置文件名变量。 值:
    @replace(item().name、.ready、.csv)

  • 创建“如果条件”活动以决定是否复制.csv文件。 表达式:
    @activity('Get Metadata2')。输出。存在

  • 如果是If条件活动,则创建复制数据活动以复制.csv文件

    复制数据活动的设置:

    设置源数据集:

    设置接收器数据集:


  • 我的回答符合你的要求吗?我已经修改了要求,你能帮我解决两件需要澄清的事情吗:1。fileshare中的单个文件夹只有两个文件(.ready和.csv),它们的文件名相同,对吗?2.如果data lake中不存在您的特定文件夹,该怎么办?创建它?澄清。是的,它将有两个文件。2.实际上,datalake中会有预先存在的文件夹,因此根据与文件夹匹配的文件名,将放置该文件。我已更新了我的答案。希望它能帮助你。