Amazon web services 如何在虚拟私有云上获取DASK？

我们正在我的公司寻找一个并行计算解决方案，我们选择了DASK。我必须让它进入虚拟私有云，但它是开源的，我没有这样做的经验。有谁能建议如何在VPC上设置它吗？

我将从最简单的部署开始——在Amazon或Azure上安装一个大盒子，安装Anaconda python发行版，并启动dask（和jupyter）。如果你有一个数据科学家在那个盒子上使用Jupyter，他们可以直接执行

from dask.distributed import Client
client = Client()

这将在该机器上启动一个

LocalCluster

如果您想从另一台机器访问dask集群，只需执行几个进程即可

要启动计划程序，请执行以下操作：

$ dask-scheduler
Scheduler started at 127.0.0.1:8786

然后开始几个工人（理想情况下，每个核心一个）

然后，您可以通过ssh隧道将8786公开给外部世界

还有很多更复杂的设置——在k8s上运行，或者在弹性容器服务上运行，但是您是否需要它，实际上取决于您的用例

---

Saturn Cloud在AWS市场上有一个应用程序，可以为您进行更复杂的k8s部署。（免责声明：我是创始人之一）

我将从最简单的部署开始——在Amazon或Azure上安装一个大盒子，安装Anaconda python发行版，并启动dask（和jupyter）。如果你有一个数据科学家在那个盒子上使用Jupyter，他们可以直接执行

from dask.distributed import Client
client = Client()

这将在该机器上启动一个

LocalCluster

如果您想从另一台机器访问dask集群，只需执行几个进程即可

要启动计划程序，请执行以下操作：

$ dask-scheduler
Scheduler started at 127.0.0.1:8786

然后开始几个工人（理想情况下，每个核心一个）

然后，您可以通过ssh隧道将8786公开给外部世界

还有很多更复杂的设置——在k8s上运行，或者在弹性容器服务上运行，但是您是否需要它，实际上取决于您的用例

Saturn Cloud在AWS市场上有一个应用程序，可以为您进行更复杂的k8s部署。（免责声明：我是创始人之一）