Azure data factory 管道变量是否在运行之间保持不变?

Azure data factory 管道变量是否在运行之间保持不变?,azure-data-factory,Azure Data Factory,我正在两个宇宙数据库之间做一个简单的数据流管道。管道从数据流开始,该数据流获取管道变量“LastPipelineStartTime”,并将该参数传递给数据流以供查询使用,以便获取所有新数据,其中c.\u ts>=“LastPipelineStartTime”。然后,在数据流成功时,通过Set variable将变量更新到pipeline.TriggerTime()。基本上,我总是在管道运行之间获取新数据 我的问题是:看起来每次调试运行期间变量都会恢复为默认值0,而每次都会捕获所有内容。我是否误解

我正在两个宇宙数据库之间做一个简单的数据流管道。管道从数据流开始,该数据流获取管道变量“LastPipelineStartTime”,并将该参数传递给数据流以供查询使用,以便获取所有新数据,其中c.\u ts>=“LastPipelineStartTime”。然后,在数据流成功时,通过Set variable将变量更新到pipeline.TriggerTime()。基本上,我总是在管道运行之间获取新数据


我的问题是:看起来每次调试运行期间变量都会恢复为默认值0,而每次都会捕获所有内容。我是否误解或使用管道变量错误?谢谢

据我所知,在
set variable Activity
中设置的变量有自己的生命周期:在当前管道执行期间。变量的任何更改都不能持续到下一个执行阶段

为实现您的需求,请参考我的解决方案,如下所示:

1.如果您在计划中执行ADF管道,您可以将计划时间作为参数传递给它,以确保获取新数据


2.如果频率是随机的,则在数据流活动之前,将触发时间保留到其他驻留中(例如blob存储中的简单文件),使用从blob存储文件中获取该时间。

Aw这太可惜了,我们真的希望该变量能够保留。我在成功运行结束时更新变量,以便在每小时运行不成功的情况下,下一次运行将返回两个小时,以避免丢失任何数据。我会考虑你的第二个建议,谢谢!您将如何从管道中“持久化触发时间”?我刚刚发布了这个问题供参考