Memory 加载训练数据时的巨大内存占用

Memory 加载训练数据时的巨大内存占用,memory,machine-learning,Memory,Machine Learning,我一直致力于通过语音进行身份识别&我已经成功地做到了。为了进行培训,我使用了约500个wav文件。我加载这些wav文件,生成它们的MFCC并将它们存储在向量中。因此,在训练完成后,我在内存中加载了约500个向量(每个向量大小约1000个),这就产生了一种“内存猪”。为了节省内存,我可以将所有训练数据存储在一个文件中,这是一个合理的解决方案。我试过了&效果很好。然而,我想知道是否还有其他更有效的程序可以使用,并作为处理机器学习/大数据时的标准实践 你用了多少内存?在哪个站台?500x1000在现代

我一直致力于通过语音进行身份识别&我已经成功地做到了。为了进行培训,我使用了约500个wav文件。我加载这些wav文件,生成它们的MFCC并将它们存储在向量中。因此,在训练完成后,我在内存中加载了约500个向量(每个向量大小约1000个),这就产生了一种“内存猪”。为了节省内存,我可以将所有训练数据存储在一个文件中,这是一个合理的解决方案。我试过了&效果很好。然而,我想知道是否还有其他更有效的程序可以使用,并作为处理机器学习/大数据时的标准实践

你用了多少内存?在哪个站台?500x1000在现代桌面上并不多见。我正在PC上测试它,但我计划使用内存有限的DSP芯片实现它。我明白了。为什么需要将训练数据存储在DSP上?你能不能先训练一个模型,然后转移它?我能,而且我很可能会。不过,我只是想知道一些可以提高系统效率的技术。我不明白您在培训期间需要最小化这么小的内存量(~16mb,32位浮点)。你在上面训练一个模型,扔掉MFCC,然后把学习到的模型转移到你的DSP上。