将纯python模块推送到Dask工作者

在Dask中有没有一种简单的方法可以将纯python模块推送到工作人员手中

我在一个集群中有许多工作人员，我想分发我在客户端上拥有的本地模块。我知道对于像NumPy或Python这样的大型软件包，我应该以一种更健壮的方式分发东西，但是我有一个经常更改的小模块，它不需要太多的工作来移动。

是的，使用这种方法

此方法将分发文件，如果文件以

.py

或

.egg

结尾，则还将在每个Worker上导入并重新加载模块。

是，请使用此方法

---

此方法将分发文件，如果文件以

.py

或

.egg

结尾，则还将在每个辅助进程上导入并重新加载模块。

如果您希望在辅助进程启动后将包部署到辅助进程，则可以使用和执行类似的操作

在此之后，将在所有当前运行的工作程序上安装指定的包

---

向计划程序添加其他工作程序时，此方法不起作用。

备选方法如果希望在工作程序启动后将包部署到工作程序，可以使用和执行类似的操作

在此之后，将在所有当前运行的工作程序上安装指定的包

---

向计划程序添加其他工作程序时，此方法不起作用。

一个模块下的所有文件如何？如果该模块下有2个文件，则1个文件可能会导入另一个文件，如“import module.file2”。如果上传文件期间未保留模块结构，则此导入将中断。那么模块下的所有文件如何？如果该模块下有2个文件，则1个文件可能会导入另一个文件，如“import module.file2”。如果上传文件期间未保留模块结构，则此导入将中断。

client.upload_file('myfile.py')

def deploy_env(packages):
    conda_prefix = pathlib.Path(sys.executable).parent.parent
    res = subprocess.check_output(['conda', 'install', '-p', conda_prefix] + packages)
    return res

# Run the deploy command on all the workers
result = client.run(deploy_env, packages)

# Restart all the worker processes
client.restart()