Cuda 如何在Ubuntu上获得进程的最大GPU内存使用率？（适用于Nvidia GPU）

我有一个安装了Ubuntu 16.04的服务器。它有一个K80 GPU。多个进程正在使用GPU

有些进程有不可预测的GPU使用情况，我想可靠地监视它们的GPU使用情况

我知道您可以通过以下方式查询GPU的使用情况：

nvidia smi

，但这仅提供您在查询时的使用情况

目前，我每100毫秒查询一次信息，但这只是对GPU使用情况进行采样，可能会跳过GPU使用高峰

---

有没有可靠的方法来获得给定的PID过程中最大的GPU内存使用？

< P>试试英伟达视觉剖析器。我不确定它有多准确，但它可以为您提供程序运行时不同时间的设备内存使用情况图表。

您可能希望通过插入的库拦截对的调用和相关函数。然后，您可以以任何方式记录峰值/持续/任何内存使用指标。