Azure 在复制活动中筛选blob数据

Azure 在复制活动中筛选blob数据,azure,azure-data-factory,azure-data-factory-2,Azure,Azure Data Factory,Azure Data Factory 2,我有一个复制活动,它将数据从Blob复制到Azure data Lake。Blob由带有事件中心触发器的Azure函数填充。Blob文件附加了UNIX时间戳,该时间戳是事件中心中的事件排队时间。Azure数据工厂每小时触发一次,以合并文件并将其移动到data lake 在源数据集中,我有现成的过滤器,按UTC时间中最后修改的日期进行过滤。我可以使用它,但它限制了我在blob中使用上次修改的日期。我想使用自己的日期过滤器,并决定在哪里应用这些过滤器。这在数据工厂中是可能的吗?如果是的话,你能告诉

我有一个复制活动,它将数据从Blob复制到Azure data Lake。Blob由带有事件中心触发器的Azure函数填充。Blob文件附加了UNIX时间戳,该时间戳是事件中心中的事件排队时间。Azure数据工厂每小时触发一次,以合并文件并将其移动到data lake

在源数据集中,我有现成的过滤器,按UTC时间中最后修改的日期进行过滤。我可以使用它,但它限制了我在blob中使用上次修改的日期。我想使用自己的日期过滤器,并决定在哪里应用这些过滤器。这在数据工厂中是可能的吗?如果是的话,你能告诉我正确的方向吗


对于ADF,无论如何,我唯一想到的是使用和的组合。可能有点复杂

1.使用“查找”从blob文件中检索数据

2.使用ForEach活动循环结果并设置数据时间过滤器

3.在ForEach活动中,执行复制任务

请参考此以获得一些线索

回顾一下你现在所做的所有任务的描述,我建议你了解一下。无论数据源是Event Hub还是Azure Blob存储,ASA都支持它们。它支持日常生活能力


您可以创建一个作业来配置输入和输出,然后使用popular根据需要筛选数据。例如operator或。

嘿,谢谢您的建议。我在ADF中实现了这一点,但使用了大量的查找、foreach和存储过程活动。