在Azure数据流内的查找转换中使用动态数据源名称
在我的数据管道中,我试图合并两个数据集,一个来自SQL表的数据和Azure Blob存储中相应的json文件。 SQL数据中的每一行都包含一个blob文件的名称,我试图实现的是,对于每一行,获取列中提到的文件,将该json blob数据与行连接,并写入另一个blob 首先,我尝试在在Azure数据流内的查找转换中使用动态数据源名称,azure,azure-data-factory,azure-data-flow,Azure,Azure Data Factory,Azure Data Flow,在我的数据管道中,我试图合并两个数据集,一个来自SQL表的数据和Azure Blob存储中相应的json文件。 SQL数据中的每一行都包含一个blob文件的名称,我试图实现的是,对于每一行,获取列中提到的文件,将该json blob数据与行连接,并写入另一个blob 首先,我尝试在数据管道中使用Lookup和ForEach活动,参数化blob数据集,根据列中的值读取名称,但后来我没有找到任何方法将每个数据与blob数据一起写入,但它复制了blob文件 然后,我尝试在数据流中使用查找转换,但未能使
数据管道中使用Lookup
和ForEach
活动,参数化blob数据集,根据列中的值读取名称,但后来我没有找到任何方法将每个数据与blob数据一起写入,但它复制了blob文件
然后,我尝试在数据流
中使用查找转换
,但未能使用列值作为合并数据的第二个源的名称
数据管道或数据流中是否存在合并两个数据集的方法,其中一个数据集的名称是动态的?是的,您可以在数据流中执行此操作。数据集、文件名、表和列都可以参数化。您有指向任何资源的链接吗?我试图找到一些,但没有成功。我知道如何使用参数,我面临的问题是,针对每一行从存储器中加载文件并与该行合并。您是否查看了源格式上的“Column to store file name”属性?