Python 使用theano在GPU上故障加载神经网络

我正在使用一个带有NvidiaK80 gpu的AmazonEC2服务器来运行一个使用Theano和Lasagne的神经网络。当我尝试训练网络时，出现以下错误：

内存错误：分配5060952064字节的设备内存时出错（CNMEM\u状态\u内存不足）。

K-80应该有12 GB内存，我有95%内存的CNMeM enable，如下所示：

使用gpu设备0:Tesla K80（启用CNMeM的初始大小为内存的95.0%，cuDNN 5105）

任何关于出错原因的提示都将不胜感激

---

完整的错误信息可以在这里看到：

我遇到了类似的问题-您在此期间找到解决方案了吗？对我来说，当我将CNMeM设置为只有内存的1%时，它起作用了，这很奇怪。没有找到解决方案，但找到了问题的原因。GPU上的内存是连续的，因此如果我进行了多次运行，那么先前运行的内存将在GPU上分配，因此不可用。“解决方案”是删除在GPU上运行的内核，从而释放使用过的MemoryAy，删除内核意味着终止GPU上的相应进程？是的！只是关闭了使用资源的进程，我使用了python，杀死了python内核，使无内存的againI遇到了类似的问题-您同时找到了解决方案吗？对我来说，当我将CNMeM设置为只有内存的1%时，它起作用了，这很奇怪。没有找到解决方案，但找到了问题的原因。GPU上的内存是连续的，因此如果我进行了多次运行，那么先前运行的内存将在GPU上分配，因此不可用。“解决方案”是删除在GPU上运行的内核，从而释放使用过的MemoryAy，删除内核意味着终止GPU上的相应进程？是的！只是关闭了使用资源的进程，我使用了python，杀死了python内核，使内存再次释放