如何让所有工人在dask中执行相同的任务?
我想让所有工人都做同样的任务,如下所示:如何让所有工人在dask中执行相同的任务?,dask,dask-distributed,Dask,Dask Distributed,我想让所有工人都做同样的任务,如下所示: from dask import distributed from distributed import Client,LocalCluster import dask import socket def writer(filename,data): with open(filename,'w') as f: f.writelines(data) def get_ip(x): return socket.gethos
from dask import distributed
from distributed import Client,LocalCluster
import dask
import socket
def writer(filename,data):
with open(filename,'w') as f:
f.writelines(data)
def get_ip(x):
return socket.gethostname()
#writer('/data/1.txt',a)
client = Client('192.168.123.1:8786')
A=client.submit(get_ip, 0,workers=['w1','w2'], pure=False)
print(client.ncores(),
client.scheduler_info()
# dask.config.get('distributed')
)
A.result()
我有2个worker,但只需打印1个worker的主机名一个简单的实现方法是使用Client.run方法
client.run(socket.gethostname)
这将在所有辅助对象上运行函数并返回所有结果。它不使用普通的任务调度系统,该系统的设计目的与您想要的完全不同。workres提醒我:
带外函数“get_ip”
,我有一个由pandas进行的复杂计算,我可以在生产环境中使用它吗?例如--内存限制参数是否有效?