Azure data factory 从数据工厂管道中的ML Studio管道获取结果
我们目前有一个数据工厂管道,它能够成功地调用我们的一个ML Studio管道。在ML Studio管道完成后,我们希望Azure Data Factory获取ML Studio管道的结果并将结果存储在SQL Server中 我们发现PipelineData类根据子运行id将结果存储在blob中的文件夹中,这使得Data factory很难获取结果。然后我们发现了OutputFileDatasetConfig,它允许ML Studio将结果保存到数据工厂的静态位置。这对Data Factory非常有效,但OutputFileDatasetConfig并不总是有效:(因为它是实验课。我们花了一段时间才弄明白这一点,我们甚至为此创建了一个stackoverflow问题,我们解决了这个问题,可以在这里找到: 我们返回到使用PipelineData类,该类根据子运行id将结果存储在blob中的文件夹中,但我们不知道如何让Data factory根据它刚才运行的ML Studio管道的子运行id查找blob 所以我的问题是,如何让Data Factory获取从Data Factory管道触发的ML Studio管道的结果??? 下面是我们试图构建的数据工厂管道的一个简单视图Azure data factory 从数据工厂管道中的ML Studio管道获取结果,azure-data-factory,azure-data-factory-2,azureml,ml-studio,azureml-python-sdk,Azure Data Factory,Azure Data Factory 2,Azureml,Ml Studio,Azureml Python Sdk,我们目前有一个数据工厂管道,它能够成功地调用我们的一个ML Studio管道。在ML Studio管道完成后,我们希望Azure Data Factory获取ML Studio管道的结果并将结果存储在SQL Server中 我们发现PipelineData类根据子运行id将结果存储在blob中的文件夹中,这使得Data factory很难获取结果。然后我们发现了OutputFileDatasetConfig,它允许ML Studio将结果保存到数据工厂的静态位置。这对Data Factory非常
Step 1: Store Data in azure file store -->
Step 2: Run ML Studio scoring Pipeline -->
Step 3: Copy Results to SQL Server
步骤3是我们无法理解的步骤。任何帮助都将不胜感激。感谢并愉快地编码!我想我回答了自己的问题。我的问题与几个月前提出的另一个问题类似,他们的顶级解决方案对我有效 我能够使用DataTransferStep,如下所示
transfer_ml_to_blob = DataTransferStep(
name="transfer_ml_to_blob",
source_data_reference=output_dir,
destination_data_reference=blob_data_ref,
compute_target=data_factory_compute,
source_reference_type='directory',
destination_reference_type='directory'
)
其他一些有用的资源: