如何扩展Dask访问的ram?

如何扩展Dask访问的ram?,dask,Dask,开发人员是否应该通过发布大型阵列将Dask用作数据库?如果是这样的话,为了增加ram Dask的访问权限(除了修改机器本身),推荐的工作流程是什么?默认情况下,Dask工作进程将分配数据,直到它到达机器上大约60%的ram,此时它将开始将最近使用过的项目溢出到磁盘上 您可以使用--memory limit标志限制此行为 如果您有更多要添加到网络的机器,那么您也可以在这些机器上启动dask工作程序,并将它们指向中央调度器 host1$ dask-worker scheduler-address:8

开发人员是否应该通过发布大型阵列将Dask用作数据库?如果是这样的话,为了增加ram Dask的访问权限(除了修改机器本身),推荐的工作流程是什么?

默认情况下,
Dask工作进程将分配数据,直到它到达机器上大约60%的ram,此时它将开始将最近使用过的项目溢出到磁盘上

您可以使用
--memory limit
标志限制此行为

如果您有更多要添加到网络的机器,那么您也可以在这些机器上启动dask工作程序,并将它们指向中央调度器

host1$ dask-worker scheduler-address:8786
host2$ dask-worker scheduler-address:8786
host3$ dask-worker scheduler-address:8786
你真正的问题

开发人员是否应该通过发布大型阵列将Dask用作数据库


这真的是一个判断。Dask是一种工具,可以以多种方式使用。是否应使用它取决于应用程序的需要。

默认情况下,
dask worker
进程将分配数据,直到它到达机器上大约60%的RAM,此时它将开始将最近使用的项目溢出到磁盘

您可以使用
--memory limit
标志限制此行为

如果您有更多要添加到网络的机器,那么您也可以在这些机器上启动dask工作程序,并将它们指向中央调度器

host1$ dask-worker scheduler-address:8786
host2$ dask-worker scheduler-address:8786
host3$ dask-worker scheduler-address:8786
你真正的问题

开发人员是否应该通过发布大型阵列将Dask用作数据库

这真的是一个判断。Dask是一种工具,可以以多种方式使用。是否应该使用它取决于应用程序的需要