Azure data factory ADF管道和ADF数据流之间的区别是什么?

Azure data factory ADF管道和ADF数据流之间的区别是什么?,azure-data-factory,azure-data-factory-2,Azure Data Factory,Azure Data Factory 2,ADF管道和ADF数据流之间的区别是什么?为什么管道和数据流中支持的接收器/源不同?是否可以创建一个从源读取数据、过滤、使用连接并将数据存储到接收器的管道,而不需要数据流?请让我知道。管道用于流程编排。数据流用于数据转换 在ADF中,数据流使用Azure中的数据(blob、adls、SQL、synapse、cosmosdb)构建在Spark上 管道中的连接器用于复制数据和作业编排。在prem和其他云上有90多个可用的连接器 我们总是不断地向数据流添加更多的连接器。DataRicks中相同的工作负

ADF管道和ADF数据流之间的区别是什么?为什么管道和数据流中支持的接收器/源不同?是否可以创建一个从源读取数据、过滤、使用连接并将数据存储到接收器的管道,而不需要数据流?请让我知道。

管道用于流程编排。数据流用于数据转换

在ADF中,数据流使用Azure中的数据(blob、adls、SQL、synapse、cosmosdb)构建在Spark上

管道中的连接器用于复制数据和作业编排。在prem和其他云上有90多个可用的连接器


我们总是不断地向数据流添加更多的连接器。

DataRicks中相同的工作负载似乎比ADF数据流的成本更低。我在这两个系统中都应用了简单的转换(清理数据),但ADF DF的成本总是更高。