Fatal编程技术网

Azure functions Azure数据工厂管道编排框架

azure-functions azure-data-factory

Azure functions Azure数据工厂管道编排框架,azure-functions,azure-data-factory,azure-logic-apps,procfwk,Azure Functions,Azure Data Factory,Azure Logic Apps,Procfwk,我得到了大约9个源系统（内部部署/基于云计算） 对于初始负载和增量负载，每个源系统都必须在数据湖的原始区域结束 但很少有人会经过标准化区，然后再进入最终将成为标准的阶段（SQL表） 由原始Vault（Data Vault 2.0）处理消耗 其余部分将直接从原始区域到暂存（SQL表） 我们已经完成了所有管道，以便从源=>raw zone=>standarization zone=>Staging移动数据 现在我正在研究ADF编排框架，在这个框架中，我应该能够基于元数据/下一个要运行的有效管道动态执

我得到了大约9个源系统（内部部署/基于云计算）

  • 对于初始负载和增量负载，每个源系统都必须在数据湖的原始区域结束
  • 但很少有人会经过标准化区，然后再进入最终将成为标准的阶段（SQL表） 由原始Vault（Data Vault 2.0）处理消耗
  • 其余部分将直接从原始区域到暂存（SQL表）
    • 我们已经完成了所有管道，以便从源=>raw zone=>standarization zone=>Staging移动数据

    现在我正在研究ADF编排框架，在这个框架中，我应该能够基于元数据/下一个要运行的有效管道动态执行管道

    使用Execute Pipleline，没有选项动态指定要执行的管道

    逻辑应用程序/Azure功能的最佳选项是什么

    我想动态地传递管道名称。

    如果没有太多管道可指向，可以在管道中使用
    切换活动
    ，根据元数据为不同的情况运行不同的管道。

    如果需要将其真正变化，则需要构建队列/管理系统。下面是我概述这一概念的另一个答案：@JoelCochran Thank将对此进行调查。下面是我的另一个答案，并提供了一些更多信息：