Python 通过使用dask.distributed将数据存储到节点上工作人员之间共享的字典中，减少i/o

我正在使用

dask.distributed

scheduler和workers在集群上处理一些大型显微镜图像。我在每个节点上运行多个worker（1个core=1个worker）。节点中的每个核心共享200Gb的RAM

问题
我希望将写入实例减少到集群的共享HD

问题

其想法是创建一个节点内共享的字典，用处理过的图像填充它，直到大小达到RAM的80%，然后字典中的每个图像将作为一个单独的文件保存到HD。是否可以在节点中的工作人员之间共享词典

字典中的每个图像都将写入不同的文件。在字典中循环写入它们会有区别吗？或者i/o调用的速度和数量与在处理过程中一次写入一个图像相同

我没有当前正在运行的示例，因为我不知道如何在同一节点上的工作人员之间共享变量

---

谢谢

听起来像是Redis的工作。