Python 无法为具有形状的数组分配60.0 GiB。。凯拉斯
我正在使用教程在Python中使用Keras开发神经翻译系统。 我成功地用一个包含3万个短语的数据集训练和测试了我的神经网络。 问题是,如果我超过30k个短语,我的计算机内存就会耗尽(我有32个RAM)。 我可能需要生成更小的数据集并重新训练网络。但是如果我这样做了,那么之前训练过的神经网络数据集就被遗忘了,如果我在不同的数据集上训练后尝试测试网络,它会显示出不同的结果,就像它忘记了它所学到的一样 如何解决这个问题?Python 无法为具有形状的数组分配60.0 GiB。。凯拉斯,python,tensorflow,keras,neural-network,Python,Tensorflow,Keras,Neural Network,我正在使用教程在Python中使用Keras开发神经翻译系统。 我成功地用一个包含3万个短语的数据集训练和测试了我的神经网络。 问题是,如果我超过30k个短语,我的计算机内存就会耗尽(我有32个RAM)。 我可能需要生成更小的数据集并重新训练网络。但是如果我这样做了,那么之前训练过的神经网络数据集就被遗忘了,如果我在不同的数据集上训练后尝试测试网络,它会显示出不同的结果,就像它忘记了它所学到的一样 如何解决这个问题? 我使用的所有代码都在教程中 使用MySQL数据库存储数据集,或在存储数据集之前
我使用的所有代码都在教程中 使用MySQL数据库存储数据集,或在存储数据集之前将其切片这是什么意思?数据集已经存储在一个.txt文件中。问题是,当我一次加载所有数据集时,我的计算机内存不足,它将耗尽内存,在存储数据集之前,你应该将其切片然后存储,就像每100mb存储在不同的文件中,或者使用MySQL数据库会很容易,但是如果我将数据存储在MySQL数据库中,然后加载它,我认为它会占用相同的内存,或者不会?不,sql数据库是不同的尝试mongoDB它被facebook使用我可以使用SQLite DB吗?