Dask 将大拼花锉刀存放在工人身上

Dask 将大拼花锉刀存放在工人身上,dask,dask-distributed,Dask,Dask Distributed,我有一个大拼花锉刀。我现在把它撒在我的工人身上。对我来说,这个镶木地板锉刀不常更换。我能把它复制给我的员工,并以某种方式引用它吗?我想把这个拼花地板文件复制给我所有的员工,然后告诉他们如何为它创造未来。当然,你可以把你的数据文件复制给每个员工,或者把它放在所有员工都能看到的位置(NFS,或者像S3这样的云存储)。如果您选择复制到每个worker的本地存储,那么您所需要做的就是确保它在任何地方都具有相同的路径(包括您的客户机),然后您可以使用标准的dd.read\u parquet。如果它位于不同

我有一个大拼花锉刀。我现在把它撒在我的工人身上。对我来说,这个镶木地板锉刀不常更换。我能把它复制给我的员工,并以某种方式引用它吗?我想把这个拼花地板文件复制给我所有的员工,然后告诉他们如何为它创造未来。

当然,你可以把你的数据文件复制给每个员工,或者把它放在所有员工都能看到的位置(NFS,或者像S3这样的云存储)。如果您选择复制到每个worker的本地存储,那么您所需要做的就是确保它在任何地方都具有相同的路径(包括您的客户机),然后您可以使用标准的
dd.read\u parquet
。如果它位于不同的位置,则必须创建一个自定义函数来读取它