如何为调度程序以外的其他区域中的dask工作进程配置GCP群集已启动

如何为调度程序以外的其他区域中的dask工作进程配置GCP群集已启动,dask,dask-distributed,dask-kubernetes,Dask,Dask Distributed,Dask Kubernetes,我在区域us-east1中有一个kubernetes群集,其中启动了dask调度程序,我想在区域us-west1中启动另一个群集,在那里运行dask workers。据我所知,调度程序和工作程序之间的连接是双向的,所以我不能用外部IP公开调度程序,我还必须公开工作程序。可能存在某种方法来避免此问题,并且不暴露每个工作进程,或者以某种方式可能为不同区域的两个集群配置网络,并且能够在它们之间进行通信我建议在同一区域运行dask工作进程和调度程序,并且理想情况下在网络中彼此非常接近 如果您必须有远程连

我在区域us-east1中有一个kubernetes群集,其中启动了dask调度程序,我想在区域us-west1中启动另一个群集,在那里运行dask workers。据我所知,调度程序和工作程序之间的连接是双向的,所以我不能用外部IP公开调度程序,我还必须公开工作程序。可能存在某种方法来避免此问题,并且不暴露每个工作进程,或者以某种方式可能为不同区域的两个集群配置网络,并且能够在它们之间进行通信

我建议在同一区域运行dask工作进程和调度程序,并且理想情况下在网络中彼此非常接近

如果您必须有远程连接,那么这样做的地方是在客户端和调度器之间。这篇博文可能会有帮助: