Fatal编程技术网
  • dask/
  • 在PythonScriptStep中使用Dask集群

在PythonScriptStep中使用Dask集群

dask

在PythonScriptStep中使用Dask集群,dask,azure-machine-learning-service,Dask,Azure Machine Learning Service,有没有可能让一个多节点Dask集群作为带有AML管道的PythonScriptStep的计算 我们有一个PythonScriptStep，它使用featuretools，深度特征合成（dfs）（）ft.dfs（）有一个参数，n_jobs允许并行化。当我们在一台机器上运行时，这项工作需要三个小时，在Dask上运行得更快。我如何在Azure ML管道中实现这一点？我们一直在努力，最近发布了一个您可能感兴趣的dask_cloudprovider.AzureMLCluster：。您可以通过pip ins

有没有可能让一个多节点Dask集群作为带有AML管道的
PythonScriptStep
的计算

我们有一个
PythonScriptStep
，它使用
featuretools
，深度特征合成（
dfs
）（）
ft.dfs（）
有一个参数，
n_jobs
允许并行化。当我们在一台机器上运行时，这项工作需要三个小时，在Dask上运行得更快。我如何在Azure ML管道中实现这一点？

我们一直在努力，最近发布了一个您可能感兴趣的
dask_cloudprovider.AzureMLCluster
：。您可以通过
pip install dask cloudprovider
安装它

AzureMLCluster
在AzureML服务上实例化Dask集群，如果您需要，可以灵活地扩展到100个节点。唯一需要的参数是
工作空间
对象，但如果选择，您可以传递自己的
计算目标

一个你可以使用它的例子。在本例中，我使用自定义GPU/RAPIDS docker图像，但您可以使用
环境
类中的任何图像。
感谢您指向dask_cloudprovider。但是，示例代码（）没有描述如何在Dask集群上使用AzureML管道/PythonScriptStep。任何指示都将不胜感激。