使用文件结构将多个模块推送到Dask集群

使用文件结构将多个模块推送到Dask集群,dask,Dask,这几乎是这个问题的延伸 我有一个类似的挑战,除了我试图运行的代码分布在多个模块中,其中一些模块来自一个子目录。为了使我的代码合理有序,我有一个主要的“代码运行器”,它从“功能”文件夹加载不同的模块,以便执行一些数据处理步骤 我知道我可以将文件加载到Dask集群,但我如何才能做到这一点,以保持目录结构,并且我的导入仍然可以像“从要素导入要素1作为f1”(例如) 或者,如果我没有正确地考虑这一点,是否有更好的方法使用Dask实现这一点?人们通常使用Docker、NFS、conda pack或其他一些

这几乎是这个问题的延伸

我有一个类似的挑战,除了我试图运行的代码分布在多个模块中,其中一些模块来自一个子目录。为了使我的代码合理有序,我有一个主要的“代码运行器”,它从“功能”文件夹加载不同的模块,以便执行一些数据处理步骤

我知道我可以将文件加载到Dask集群,但我如何才能做到这一点,以保持目录结构,并且我的导入仍然可以像“从要素导入要素1作为f1”(例如)


或者,如果我没有正确地考虑这一点,是否有更好的方法使用Dask实现这一点?

人们通常使用Docker、NFS、conda pack或其他一些机制等工具部署更复杂的软件环境。
upload\u file
方法实际上是对完整环境的一个小补充。大型复杂软件环境的运输可能超出Dask的范围。我们建议您使用任何机制来移动软件。

人们通常使用Docker、NFS、conda pack或其他机制等工具部署更复杂的软件环境。
upload\u file
方法实际上是对完整环境的一个小补充。大型复杂软件环境的运输可能超出Dask的范围。我们建议您使用任何机制来移动软件