Azure DataFactory增量BLOB拷贝

我制作了一条管道，将数据从一个blob存储复制到另一个blob存储。如果可能的话，我想使用增量复制，但还没有找到指定的方法。原因是我希望按计划运行此程序，并且只复制自上次运行以来的任何新数据。

我假设“增量”是指添加到容器中的新blob。没有简单的方法可以将更改复制到特定blob

因此，当按计划运行时，这是不可能自动实现的，因为“新建”不是计划程序可以知道的

相反，您可以使用Blob创建的事件触发器，然后将结果（Blob名称）缓存到其他地方。然后，当您的计划运行时，它可以读取这些名称并仅复制这些blob

您有许多可缓存的选项。一个SQL表，另一个blob

注意：这里的复杂之处在于要按计划完成这项工作。如果您可以调整参数以仅复制每个新文件，这将非常非常简单，因为您可以只复制创建触发器的blob

另一个选项是使用触发器将创建时的blob复制到临时/暂存容器，然后使用计划将这些文件移动到最终目标

如果您的blob名称带有时间戳，那么您可以按照此文档进行命名，以用于设置管道。您可以选择翻滚窗口，然后在文件路径字段输入{year}/{month}/{day}/fileName中选择正确的模式。它将帮助您构造参数。

如果blob名称没有使用时间戳进行良好命名，则可以使用检查上次修改的时间。请参考

---

事件触发器只是控制管道何时运行的一种方法。您也可以在场景中使用或。

好的，是的，我指的是添加到容器中的新blob。我想时间戳可能有用。当然，它需要保存在某个地方，然后由用户使用pipeline@RasmusChristensen您可以使用时间戳，但随后必须扫描每个条目，以与您还必须存储的上次运行时间进行比较。