使用Linux在databricks群集上运行Open MPI时出现“插槽不足”错误
我尝试使用mpi在databricks集群上运行C应用程序 我已从下载了Open MPI 并安装在databricks群集上 它是在带有Ubuntu的databricks集群上构建的使用Linux在databricks群集上运行Open MPI时出现“插槽不足”错误,mpi,databricks,openmpi,azure-databricks,Mpi,Databricks,Openmpi,Azure Databricks,我尝试使用mpi在databricks集群上运行C应用程序 我已从下载了Open MPI 并安装在databricks群集上 它是在带有Ubuntu的databricks集群上构建的 Operating system/version: Linux 4.4.0 Ubuntu Computer hardware: x86_64 Network type: databricks 我正在尝试从databricks上的python笔记本运行: %sh mpirun --allow-run-
Operating system/version: Linux 4.4.0 Ubuntu
Computer hardware: x86_64
Network type: databricks
我正在尝试从databricks上的python笔记本运行:
%sh
mpirun --allow-run-as-root -np 20 MY_c_Application
MY_c_应用程序由c编写,并在databricks Linux上编译
我的databricks集群有21个节点,其中一个作为驱动程序。每个节点有32个核心
当我运行上面的命令时,我得到如下错误
你能告诉我这是怎么造成的吗?
或者,我错过了什么
谢谢
更新
添加主机文件后,此问题消失
sudo mpirun --allow-run-as-root -np 25 --hostfile my_hostfile ./MY_C_APP
谢谢根据原始海报分享答案: 添加主机文件后,问题已解决
sudo mpirun --allow-run-as-root -np 25 --hostfile my_hostfile ./MY_C_APP
你读过你发布的不言自明的错误消息吗?是的,我读过,如何增加databricks集群上的插槽?谢谢你在用机器文件吗?驱动程序节点上有多少个内核?你确定你数的是核心而不是超线程吗?请看我的UPDTAE。谢谢
sudo mpirun --allow-run-as-root -np 25 --hostfile my_hostfile ./MY_C_APP