Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/296.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 无法为具有形状的数组分配60.0 GiB。。凯拉斯_Python_Tensorflow_Keras_Neural Network - Fatal编程技术网

Python 无法为具有形状的数组分配60.0 GiB。。凯拉斯

Python 无法为具有形状的数组分配60.0 GiB。。凯拉斯,python,tensorflow,keras,neural-network,Python,Tensorflow,Keras,Neural Network,我正在使用教程在Python中使用Keras开发神经翻译系统。 我成功地用一个包含3万个短语的数据集训练和测试了我的神经网络。 问题是,如果我超过30k个短语,我的计算机内存就会耗尽(我有32个RAM)。 我可能需要生成更小的数据集并重新训练网络。但是如果我这样做了,那么之前训练过的神经网络数据集就被遗忘了,如果我在不同的数据集上训练后尝试测试网络,它会显示出不同的结果,就像它忘记了它所学到的一样 如何解决这个问题? 我使用的所有代码都在教程中 使用MySQL数据库存储数据集,或在存储数据集之前

我正在使用教程在Python中使用Keras开发神经翻译系统。 我成功地用一个包含3万个短语的数据集训练和测试了我的神经网络。 问题是,如果我超过30k个短语,我的计算机内存就会耗尽(我有32个RAM)。 我可能需要生成更小的数据集并重新训练网络。但是如果我这样做了,那么之前训练过的神经网络数据集就被遗忘了,如果我在不同的数据集上训练后尝试测试网络,它会显示出不同的结果,就像它忘记了它所学到的一样

如何解决这个问题?
我使用的所有代码都在教程中

使用MySQL数据库存储数据集,或在存储数据集之前将其切片

这是什么意思?数据集已经存储在一个.txt文件中。问题是,当我一次加载所有数据集时,我的计算机内存不足,它将耗尽内存,在存储数据集之前,你应该将其切片然后存储,就像每100mb存储在不同的文件中,或者使用MySQL数据库会很容易,但是如果我将数据存储在MySQL数据库中,然后加载它,我认为它会占用相同的内存,或者不会?不,sql数据库是不同的尝试mongoDB它被facebook使用我可以使用SQLite DB吗?