Azure data factory 从数据工厂管道中的ML Studio管道获取结果

Azure data factory 从数据工厂管道中的ML Studio管道获取结果,azure-data-factory,azure-data-factory-2,azureml,ml-studio,azureml-python-sdk,Azure Data Factory,Azure Data Factory 2,Azureml,Ml Studio,Azureml Python Sdk,我们目前有一个数据工厂管道,它能够成功地调用我们的一个ML Studio管道。在ML Studio管道完成后,我们希望Azure Data Factory获取ML Studio管道的结果并将结果存储在SQL Server中 我们发现PipelineData类根据子运行id将结果存储在blob中的文件夹中,这使得Data factory很难获取结果。然后我们发现了OutputFileDatasetConfig,它允许ML Studio将结果保存到数据工厂的静态位置。这对Data Factory非常

我们目前有一个数据工厂管道,它能够成功地调用我们的一个ML Studio管道。在ML Studio管道完成后,我们希望Azure Data Factory获取ML Studio管道的结果并将结果存储在SQL Server中

我们发现PipelineData类根据子运行id将结果存储在blob中的文件夹中,这使得Data factory很难获取结果。然后我们发现了OutputFileDatasetConfig,它允许ML Studio将结果保存到数据工厂的静态位置。这对Data Factory非常有效,但OutputFileDatasetConfig并不总是有效:(因为它是实验课。我们花了一段时间才弄明白这一点,我们甚至为此创建了一个stackoverflow问题,我们解决了这个问题,可以在这里找到:

我们返回到使用PipelineData类,该类根据子运行id将结果存储在blob中的文件夹中,但我们不知道如何让Data factory根据它刚才运行的ML Studio管道的子运行id查找blob

所以我的问题是,如何让Data Factory获取从Data Factory管道触发的ML Studio管道的结果???

下面是我们试图构建的数据工厂管道的一个简单视图

Step 1: Store Data in azure file store -->
Step 2: Run ML Studio scoring Pipeline -->
Step 3: Copy Results to SQL Server

步骤3是我们无法理解的步骤。任何帮助都将不胜感激。感谢并愉快地编码!

我想我回答了自己的问题。我的问题与几个月前提出的另一个问题类似,他们的顶级解决方案对我有效

我能够使用DataTransferStep,如下所示

transfer_ml_to_blob = DataTransferStep(
    name="transfer_ml_to_blob",
    source_data_reference=output_dir,
    destination_data_reference=blob_data_ref,
    compute_target=data_factory_compute,
    source_reference_type='directory', 
    destination_reference_type='directory'
) 
其他一些有用的资源: