Python Dask分布式确保新工人通过上传文件上传模块_Python_Distributed_Dask

Python Dask分布式确保新工人通过上传文件上传模块

python dask

Python Dask分布式确保新工人通过上传文件上传模块,python,distributed,dask,Python,Distributed,Dask,是否有任何方法可以确保新员工在加入集群时获得一个随upload_文件一起发送的python包，就像dask ml在分散数据时所做的那样，即： # Serialize the training data only once to each worker with parallel_backend('dask', scatter=[digits.data, digits.target]): search.fit(digits.data, digits.target) 如果新工作进程在作业运

是否有任何方法可以确保新员工在加入集群时获得一个随upload_文件一起发送的python包，就像dask ml在分散数据时所做的那样，即：

# Serialize the training data only once to each worker
with parallel_backend('dask', scatter=[digits.data, digits.target]):
    search.fit(digits.data, digits.target)

如果新工作进程在作业运行时加入集群，则不会获取模块并出错

我想有一种方法可以使用EFS挂载来处理加载研发模块的问题，EFS挂载将符号链接到workers、Jupyter笔记本服务器和scheduler挂载的站点包。虽然它将是很好的，只是使用一些单独的上传文件行