Azure data factory AzureDataFactory中写入单个数据集的两条管道

Azure data factory AzureDataFactory中写入单个数据集的两条管道,azure-data-factory,Azure Data Factory,我试图将两个不同的复制活动管道指向单个输出数据集中。所有管道和数据集的频率/可用性都设置为天。我已尝试将pipeline1配置为style:StartOfInterval,将pipeline2配置为style:EndOfInterval。但在这种设置下,我在发布时遇到了错误: 活动计划与输出的计划不匹配 数据集。活动:“MyCopyActivity”。数据集: “MyDataset.”,代码:ActivityDataSetSchedulerMismatch 作为一种解决方法,我可以创建两个不同的

我试图将两个不同的复制活动管道指向单个输出数据集中。所有管道和数据集的频率/可用性都设置为天。我已尝试将pipeline1配置为style:StartOfInterval,将pipeline2配置为style:EndOfInterval。但在这种设置下,我在发布时遇到了错误:

活动计划与输出的计划不匹配 数据集。活动:“MyCopyActivity”。数据集: “MyDataset.”,代码:ActivityDataSetSchedulerMismatch

作为一种解决方法,我可以创建两个不同的数据集,并将它们指向同一资源


如果原因是将多个输入合并到一个输出中,是否可以使用单个输出数据集实现此目的?

您可以使用具有两个独立输入的单个副本活动管道


数据集输入可以有不同的可用性窗口,然后复制活动可以将它们组合成一个输出数据集。

管道和输出数据集的可用性/调度属性在所有情况下都应该相同。 在您的例子中,管道有不同的样式,但您引用的是只有一个样式的单个输出数据集。默认值是Endofinterval

对于一个管道,它将匹配,但对于其他管道,它将抛出错误


为了克服这个问题,您必须使用相同的链接服务创建两个输出数据集。不要忘记将OutputDataSet的样式与相应的管道相匹配

否不可能在两个复制活动中使用单个输出数据集。您需要创建两个数据集并将它们指向同一资源。

您确定验证失败不是因为Azure中已部分部署了不匹配的值吗?Visual Studio令人恼火的是,它根据已部署到目标数据工厂的内容进行验证,而不是根据项目中的值进行验证。@是,我已经从ADF中删除了所有相关的管道/数据集,并尝试将它们一起部署-仍然是相同的错误您是否希望将一个数据集附加到另一个数据集上?或者将这些列合并到?@AlexKeySmith我有来自不同来源的类似数据集。我只是想一个接一个地将它们添加到结果中,这是行不通的——我创建了带有2个输入和1个输出的测试管道,执行后只复制了1个数据集。我已经提到我可以创建两个数据集。我对其他解决方案感兴趣。