Dask 多个工作流能否跨单独的客户端进程重用持久化数据帧？
我有一系列由外部系统控制（计划、启动、监控等）的数据准备工作 这些作业都重新使用相同的Dask集群（每个进程创建一个新的客户端） 当job1完成并退出时，它的持久化数据帧将在工作内存中保留多长时间 job2能否访问由job1持久化的数据帧？如果是，怎么做 当job1完成并存在时，它的持久数据帧将在工作内存中保留多长时间 几毫秒。一旦没有客户端指向数据，Dask就会删除数据 job2能否访问由job1持久化的数据帧？如果是，怎么做 对。您可能正在寻找数据集功能 调度器还可以使用多种其他机制来保存未来，包括变量、队列、发布/订阅等。我的猜测是，数据集API正是您想要的 当job1完成并存在时，它的持久数据帧将在工作内存中保留多长时间 几毫秒。一旦没有客户端指向数据，Dask就会删除数据 job2能否访问由job1持久化的数据帧？如果是，怎么做 对。您可能正在寻找数据集功能 调度器还可以使用多种其他机制来保存未来，包括变量、队列、发布/订阅等。我的猜测是，数据集API正是您想要的Dask 多个工作流能否跨单独的客户端进程重用持久化数据帧？,dask,Dask,我有一系列由外部系统控制（计划、启动、监控等）的数据准备工作 这些作业都重新使用相同的Dask集群（每个进程创建一个新的客户端） 当job1完成并退出时，它的持久化数据帧将在工作内存中保留多长时间 job2能否访问由job1持久化的数据帧？如果是，怎么做 当job1完成并存在时，它的持久数据帧将在工作内存中保留多长时间 几毫秒。一旦没有客户端指向数据，Dask就会删除数据 job2能否访问由job1持久化的数据帧？如果是，怎么做 对。您可能正在寻找数据集功能 调度器还可以使用多种其他机制来保
# on machine 1
client1.datasets["my-dataset"] = df
# on machine 2
df = client2.datasets["my-dataset"]