Azure data factory ADF数据集可用性

Azure data factory ADF数据集可用性,azure-data-factory,Azure Data Factory,自从Azure Data Factory进入预览版以来,我就一直在使用它,但是一些不同的标志组合仍然让我感到困惑 情况:我有一个每日切片间隔管道,其中包含一系列由两个外部数据源链接的活动(总共4个)。目前,它运行正常,但运行在片尾,即午夜 数据实际上在切片当天晚上7点可用,因此我们不需要等待 解决方案: 因此,如果我将所有外部数据源设置为具有: "external": true, "policy": { "externalData": {

自从Azure Data Factory进入预览版以来,我就一直在使用它,但是一些不同的标志组合仍然让我感到困惑

情况:我有一个每日切片间隔管道,其中包含一系列由两个外部数据源链接的活动(总共4个)。目前,它运行正常,但运行在片尾,即午夜

数据实际上在切片当天晚上7点可用,因此我们不需要等待

解决方案: 因此,如果我将所有外部数据源设置为具有:

        "external": true,
        "policy": {
            "externalData": {
                "dataDelay": "-05:00:00" // i.e. 24:00 - 5:00 = 19:00
            }
        }
这能行吗

我的想法是:

  • 我需要在活动中设置任何匹配项吗
  • 我不希望实际更改实际切片的开始/结束,只希望在所有数据就绪时使其“提前”运行
  • 输出数据集以及管道中的所有其他相关数据集是否也需要设置
我在这里问这个问题的原因是,如果没有穿越时间的能力,那么通过尝试和错误进行调试会有点痛苦,因此我们需要与某人进行感官检查:)


干杯

您应该能够在间隔开始时将数据设置为就绪。关于的文章应该回答您的问题,并指出您可以在数据集上设置的相关属性

您应该能够在间隔开始时将数据设置为就绪。关于的文章应该回答您的问题,并指出您可以在数据集上设置的相关属性

您可以通过在输出数据集可用性部分中使用两个附加属性来实现这一点:

"availability": {
            "frequency": "Day",
            "interval": 1,
            "offset": "20:00:00",
            "style": "StartOfInterval"
        }
上述设置将在每天晚上8点(20:00:00)触发管道


然后,在管道中,您需要将开始日期设置为[WhateverDate]T20:00:00Z您可以通过使用输出数据集可用性部分中的两个附加属性来实现这一点:

"availability": {
            "frequency": "Day",
            "interval": 1,
            "offset": "20:00:00",
            "style": "StartOfInterval"
        }
上述设置将在每天晚上8点(20:00:00)触发管道

然后在管道中,您需要将开始日期设置为[WhateverDate]T20:00:00Z