Machine learning SVM内存不足错误

Machine learning SVM内存不足错误,machine-learning,svm,svmlight,Machine Learning,Svm,Svmlight,我正在使用SVM light进行研究,它做得很好(至少它还在处理中) 这里的Learn_数据是大约14000.000行数据和20000个功能 但是对于排名模式的-zp标志,它会崩溃,有1.000.000行数据: svm_learn.exe -t 3 -z p -m 4000 learn_data_1mil model 因此: OK. (10000000 examples read) Constructing 1380570988 rank constrains...Out of memor

我正在使用SVM light进行研究,它做得很好(至少它还在处理中)

这里的Learn_数据是大约14000.000行数据和20000个功能

但是对于排名模式的
-zp
标志,它会崩溃,有1.000.000行数据:

svm_learn.exe -t 3 -z p -m 4000 learn_data_1mil model
因此:

 OK. (10000000 examples read)
 Constructing 1380570988 rank constrains...Out of memory!: Not enough space

目前的设置是64GB的RAM,SVM似乎并没有尝试使用所有的RAM。我尝试使用4000多MB作为缓存,最高可达20000。但这并没有帮助,如果是缓存错误,SVM应该告诉缓存而不仅仅是内存错误。没有找到文件化的解决方法。如何处理我的数据

我在完全不同的情况下也犯了同样的错误:Ubuntu 14,1400行,1e10功能。当它仅使用计算机32 GB中的100 MB时,内存不足。当它试图为
update\u linear\u component()
使用的权重数组分配8*1e10字节(80 GB)时,内存不足。在源代码中,查找
totwords
my_malloc
。还有几十个马洛克在那里。其中之一可能是你的大量线路故障。
 OK. (10000000 examples read)
 Constructing 1380570988 rank constrains...Out of memory!: Not enough space