Azure数据工厂数据迁移

我不确定这是一个明确的问题，或者只是一个输入查询。我正在考虑Azure Data Factory来实现数据迁移操作。我想做的是：

我有一个包含两个集合的无SQL数据库。这些集合通过公共属性关联。 我有一个MS SQL Server DB，其中的数据通过属性/列与无SQL DB集合中的数据相关

其中一个NoSQL DB集合将定期更新，另一个则不经常更新

我想做的是能够准备一个数据工厂管道，它将从所有3个DB位置获取数据，并根据公共属性将它们组合起来，从而生成一个新的数据集。然后从该数据集中将数据集中的数据推送到另一个SQL Server DB

我有点不清楚如何在数据工厂中实现这一点。有一个复制活动，但只对单个数据集输入有效，所以我不能直接使用它。我看到有一个数据转换活动的概念，看起来它们是专门用来处理输入数据集以生成新的数据集的，但我不清楚哪些活动与我想做的活动相关

我确实发现有一种叫做定制活动的特殊活动，它实际上是一种用户定义的定义，可以开发出来做任何你想做的事情。这看起来最接近我所需要的，但我不确定这是否是最佳解决方案

除此之外，我还不清楚如果需要连接来自3个不同数据源的数据，那么3个数据源的合并将如何工作，但不知道如果数据集只是原始源数据的快照，您将如何工作，这导致我认为可能会发生数据丢失。我不确定是否需要在某地发布某些数据，但似乎实际上是为相同的数据维护两个存储

---

这方面的任何输入都会很有帮助。

您正在尝试做很多事情。 我不知道您是否有SSIS方面的经验，但对于这两种集成工具中的任何一种，您所尝试的都是相当常见的

Your ADF diagram should look something like:
1. You define your 3 Data Sources as ADF Datasets on top of a 
corresponding Linked service
2. Then you build a pipeline that brings information from SQL Server into a 
temporary Data Source (Azure Table for example)
3. Next you need to build 2 pipelines that will each take one of your NoSQL 
Dataset and run a function to update the temporary Data Source which is the ouput
4. Finally you can build a pipeline that will bring all your data from the 
temporary Data Source into your other SQL Server

第2步和第3步可以根据主震源切换

---

ADF可以一个接一个或同时运行多个任务。只需将任务分解为逻辑作业，您就可以找到解决方案。

我认为这太宽泛了，无法做到这一点。听起来需要雇佣一名架构师来为您设计解决方案。