如何与Dask一起运行一组节点

如何与Dask一起运行一组节点,dask,dask-distributed,dask-delayed,Dask,Dask Distributed,Dask Delayed,我有一个图像处理图,我想批量处理许多图像。我的图表如下所示: 当我运行图时,bokeh显示如下执行路径: 这会导致我的机器内存不足并崩溃,因为加载映像的输出是兆字节的映像。我希望图形按如下方式运行,因为保存结果非常小,应该可以: 我怎样才能用达斯克做到这一点 似乎在我可能融合中间节点的地方它会很有用。这是最好的方法吗?Dask更喜欢执行可以释放内存的任务,这在您的示例中应该是深度明智的。然而,它也给你并行性;因此,最简单的方法可能是只有一名工人 事实上,图中的线性链可以很好地说明fuse。

我有一个图像处理图,我想批量处理许多图像。我的图表如下所示:

当我运行图时,bokeh显示如下执行路径:

这会导致我的机器内存不足并崩溃,因为加载映像的输出是兆字节的映像。我希望图形按如下方式运行,因为保存结果非常小,应该可以:

我怎样才能用达斯克做到这一点


似乎在我可能融合中间节点的地方它会很有用。这是最好的方法吗?

Dask更喜欢执行可以释放内存的任务,这在您的示例中应该是深度明智的。然而,它也给你并行性;因此,最简单的方法可能是只有一名工人


事实上,图中的线性链可以很好地说明fuse。您可以调用Optimize yourself(
dask.optimization.inline_函数
dask.optimization.fuse
,不需要自定义),也可以编写一个函数,在单个任务中依次显式调用每个子任务(
save(process(load(…))
).

图形最终看起来不像我在“图形”选项卡中所想的那样,所以当我更新它时,正如您所说的那样,并首先运行了“深度”,谢谢!