如何从本地计算机向远程Kubernetes群集提交Dask作业

如何从本地计算机向远程Kubernetes群集提交Dask作业,kubernetes,dask,dask-distributed,Kubernetes,Dask,Dask Distributed,我在GCP上使用Kubernetes引擎设置了Kubernetes集群。我还使用Helm软件包管理器安装了Dask。我的数据存储在GCP上的Google存储桶中 在我的本地计算机上运行kubectl get services,将产生以下输出 我可以使用外部IP打开仪表板和jupyter笔记本电脑,没有任何问题。但是,我想开发一个工作流,在本地机器中编写代码,然后将脚本提交到远程集群并在那里运行 我该怎么做? 我尝试按照使用dask remote中的说明进行操作。我还尝试使用带有LoadBala

我在GCP上使用Kubernetes引擎设置了Kubernetes集群。我还使用Helm软件包管理器安装了Dask。我的数据存储在GCP上的Google存储桶中

在我的本地计算机上运行
kubectl get services
,将产生以下输出

我可以使用外部IP打开仪表板和jupyter笔记本电脑,没有任何问题。但是,我想开发一个工作流,在本地机器中编写代码,然后将脚本提交到远程集群并在那里运行

我该怎么做?


我尝试按照使用
dask remote
中的说明进行操作。我还尝试使用带有LoadBalancer类型的
kubectl expose deployment
公开调度程序,尽管我不知道我是否正确地做到了这一点。非常感谢您的建议。

是的,如果您的客户端和工作人员共享相同的软件环境,那么您应该能够使用公开可见的IP将客户端连接到远程计划程序

from dask.distributed import Client
client = Client('REDACTED_EXTERNAL_SCHEDULER_IP')