Performance MPI运行性能分析
我在Ubuntu18.04上运行mpirun（OpenMPI），在12个CPU和2个GPU上运行86个进程。正在运行的应用程序是训练神经网络 经过一天左右的训练后，迭代速度急剧减慢。代码在单线程上运行良好，网络流量（文件读取）在规范范围内，CPU和GPU没有显示过多负载 所以我认为问题在于MPI运行Performance MPI运行性能分析,performance,ubuntu,mpi,Performance,Ubuntu,Mpi,我在Ubuntu18.04上运行mpirun（OpenMPI），在12个CPU和2个GPU上运行86个进程。正在运行的应用程序是训练神经网络 经过一天左右的训练后，迭代速度急剧减慢。代码在单线程上运行良好，网络流量（文件读取）在规范范围内，CPU和GPU没有显示过多负载 所以我认为问题在于MPI运行 是否有非侵入性工具可用于显示MPI运行的性能？我一直在看Performance副驾驶，但在软件本身中没有看到任何MPI评测。Callgrind和kcachegrind可能有用。在这里简单看一下[1]
是否有非侵入性工具可用于显示MPI运行的性能？我一直在看Performance副驾驶，但在软件本身中没有看到任何MPI评测。Callgrind和kcachegrind可能有用。在这里简单看一下[1]也会对您有所帮助
[1] 您是否检查了内存使用情况？如果内存泄漏，您的节点将在一段时间后开始交换，并变得非常缓慢。@GillesGouaillardet是的，但没有交换，内存使用率在60%到80%之间