如何将jupyter笔记本中的节点与dask链接

因此，我使用Slurm在HPC集群上运行。我已经获得了所需的节点（salloc--nodes=16-t08:00:00--qos=interactive）。有没有一种方法可以在我打开的jupyter笔记本上运行dask并链接所有这些节点，而不必等待dask_jobqueue.SLURMCluster（）获取所有新节点

另外，是否有方法为SLURMCluster（）例程添加“-qos=interactive”

谢谢

更多信息： 我通过ssh访问hpc前端。 接下来，我通过以下方式获取机器上的节点： salloc--nodes=16-t08:00:00--qos=interactive 然后我开始做一个笔记本： jupyter笔记本--无浏览器--端口=9999 接下来，我将ssh隧道插入笔记本： ssh-4-t-L 9999:localhost:9999lhovey@xxxx.lanl.govssh-t-L 9999:localhost:9999yy vv ssh-L 9999:localhost:9999节点名 然后我将jupyter笔记本链接加载到我的浏览器中，并且当前在我的笔记本中

我想做的是在大型图像阵列上进行并行处理。当我在笔记本上时，我只想将它链接到我已经获得的其他15个节点，这样我就不必从dask_jobqueue运行SLURMCluster命令，并等待获得所有新节点。主要原因是我使用--qos=interactive可以更快地获得节点，而且我不是一个ble（我认为）要在dask中使用此选项，该命令完全是为您的用例创建的。请按照此处的说明操作

或者，您可以将您的情况视为“裸金属”，并自行决定哪个节点将承载您的调度程序-在此节点上执行

dask调度程序

，并在其他节点上执行

dask worker

，给出调度程序的地址。相同的调度程序地址是您需要在笔记本中提供给

客户机的地址

请仔细注意每个可执行文件使用的网络接口，因为在HPC环境中，您通常有多种选择。
该命令完全是为您的用例创建的。请按照那里的说明去做

或者，您可以将您的情况视为“裸机”，并自行决定哪个节点将托管您的调度程序-在此节点上执行
dask调度程序
，并在其他节点上执行
dask worker
，给出调度程序的地址。相同的调度程序地址是您需要在笔记本中提供给
客户机的地址

请仔细注意每个可执行文件所使用的网络接口，因为在HPC环境中，您通常有多种选择。
听起来像是dask jobqueue的使用问题。您应该提供有关配置的更多详细信息，您的笔记本在哪里/如何运行，以及您希望能够执行的具体操作。我获得的节点为：salloc--nodes=4-t08:00:00--qos=interactive。接下来，我打开了一个jupyter笔记本：jupyter notebook——无浏览器——port=9999，然后在我的浏览器上使用该笔记本。我想做的是在大型图像阵列上进行并行处理。当我在笔记本上时，我只想将它链接到我已经获得的其他15个节点，这样我就不必从dask_jobqueue运行SLURMCluster命令并等待获得所有新节点。主要原因是我使用--qos=interactive可以更快地获得节点，并且我无法（我认为）在dask中使用此选项，请用更新编辑您的问题。听起来您可能会使用或CLI。听起来像是dask作业队列的使用问题。您应该提供有关配置的更多详细信息，您的笔记本在哪里/如何运行，以及您希望能够执行的具体操作。我获得的节点为：salloc--nodes=4-t08:00:00--qos=interactive。接下来，我打开了一个jupyter笔记本：jupyter notebook——无浏览器——port=9999，然后在我的浏览器上使用该笔记本。我想做的是在大型图像阵列上进行并行处理。当我在笔记本上时，我只想将它链接到我已经获得的其他15个节点，这样我就不必从dask_jobqueue运行SLURMCluster命令并等待获得所有新节点。主要原因是我使用--qos=interactive可以更快地获得节点，并且我无法（我认为）在dask中使用此选项，请用更新编辑您的问题。听起来当我尝试“dask ssh--hostfile hostfile.txt”时，您可能会使用或CLI.ok，我得到：Traceback（最近一次调用）：File“/users/lhovey/anaconda3/lib/python3.7/site packages/distributed/deploy/old_ssh.py”，第57行，在async_ssh banner\u timeout=20，paramiko.ssh\u exception.ssh.SSHException中：没有可用的身份验证方法[dask ssh]：ssh连接在重试3次后失败。正在退出。My hostfile是一个用回车符分隔的节点名称列表。我可以执行“ssh nodename”，它将转到那里。我不确定我缺少了什么…当我尝试“dask ssh--hostfile hostfile.txt”时，我得到：Traceback（最近一次调用）：File“/users/lhovey/anaconda3/lib/python3.7/site packages/distributed/deploy/old_ssh.py”，第57行，在async_ssh banner_timeout=20中，paramiko.ssh_exception.SSHException:No authentication methods available[dask ssh]：ssh连接在重试3次后失败。退出。我的hostfile是以回车分隔的节点名称列表。我可以做”ssh nodename“并且它会去那里。我不确定我错过了什么。。。