Python scikit学习和ipyparallel后端

Python scikit学习和ipyparallel后端,python,parallel-processing,scikit-learn,multiprocessing,cluster-computing,Python,Parallel Processing,Scikit Learn,Multiprocessing,Cluster Computing,根据答案,在使用ipycluster运行的集群上使用scikit学习并行feaures非常简单 但是,我的示例仅在起始节点上运行。我使用ipython、skit learn和ipyparallel的anaconda发行版,更新到最新版本 from sklearn.externals.joblib import Parallel, parallel_backend, register_parallel_backend from ipyparallel import Client from ipyp

根据答案,在使用ipycluster运行的集群上使用scikit学习并行feaures非常简单

但是,我的示例仅在起始节点上运行。我使用ipython、skit learn和ipyparallel的anaconda发行版,更新到最新版本

from sklearn.externals.joblib import Parallel, parallel_backend, register_parallel_backend
from ipyparallel import Client
from ipyparallel.joblib import IPythonParallelBackend
from sklearn.cluster import MeanShift

c = Client(profile='mpi')
print(c.ids)
bview = c.load_balanced_view()

register_parallel_backend('ipyparallel', lambda : IPythonParallelBackend(view=bview))

xyz=loaddata()
ms = MeanShift()
with parallel_backend('ipyparallel'):
    ms.fit(X)
我使用此comand运行群集:

ipcluster start --profile=mpi -n 17 --log-level DEBUG --delay 5
此示例并行运行,但仅在启动它的节点上运行(htop表示处理器的充分利用率)。 Ipycluster日志表明存在客户端连接,但没有任务提交给任何节点。 对该集群进行的基本测试表明,它运行正常,ipyparallel本身也按预期工作

任何想法,为什么这个例子不分布在所有节点上