Azure data factory 每日ADF输出数据集,取决于3天的输入数据集(上一个、当前、下一个)

Azure data factory 每日ADF输出数据集,取决于3天的输入数据集(上一个、当前、下一个),azure-data-factory,Azure Data Factory,我有一个场景,输出数据集是每日的,输入数据集也是每日的。理想情况下,在这种情况下会有一对一的对应。对于给定的一天切片,除非输入数据集的该天切片准备就绪,否则输出数据集的该天切片也不会执行 但情况有点棘手。任何给定日期的输出数据集切片应仅在3天的输入数据集切片准备就绪时执行-前一天,与目标切片相同的一天,第二天 我创建了一个图表来说明这一点:- 线上的数字是天数。如何为这样的场景设计管道/数据集 给出了如何在管道输入中使用startTime和endTime执行此操作的提示 "inputs"

我有一个场景,输出数据集是每日的,输入数据集也是每日的。理想情况下,在这种情况下会有一对一的对应。对于给定的一天切片,除非输入数据集的该天切片准备就绪,否则输出数据集的该天切片也不会执行

但情况有点棘手。任何给定日期的输出数据集切片应仅在3天的输入数据集切片准备就绪时执行-前一天,与目标切片相同的一天,第二天

我创建了一个图表来说明这一点:-

线上的数字是天数。如何为这样的场景设计管道/数据集

给出了如何在管道输入中使用startTime和endTime执行此操作的提示

    "inputs": [
      {
        "name": "AzureBlobInput",
        "startTime": "Date.AddDays(SliceStart, -1)",
        "endTime": "Date.AddDays(SliceEnd,  2)"
      }
    ]

设置延迟不是一个解决方案-因为它不会检查输入数据集的3天切片是否准备就绪。您是什么输入和输出链接服务?您可以通过SQLDB存储过程调用轻松实现这一点。甚至可以使用ADF自定义活动。但是,如果您只有简单的复制任务,您可能会遇到困难。让我知道,我会考虑一下。输入和输出数据集的输入链接服务是AzureBlob类型的。并且管道活动只有一个活动的类型为HDInsightHive。这不起作用,抛出一个错误:由于第三行endTime,管道根本没有部署。如果我只指定startTime部分,那么它可以工作,但对于endTime行不起作用。我还尝试将endTime的数字从2改为1,但仍然会抛出一个错误。