在R中处理大型对象

在R中处理大型对象,r,matrix,dataframe,R,Matrix,Dataframe,我正在尝试使用CIFAR图像数据集(使用R)进行一个对象识别项目,但是在处理数据集时有一个问题,当我将数据读入某个数据帧或矩阵时,对象的对象大小大约为98MB,这导致我的程序运行非常慢,我的代码是矢量化的,但仍然面临性能问题。请有人建议我如何解决这个问题 谢谢。看起来这些数据的二进制形式很适合平面文件格式,就像bigmemory、ff或rhdf5软件包处理的那样。98MB没有那么大。您还使用了哪些其他软件包/函数?我没有使用任何软件包,如果您提供更多详细信息,仅使用常规数据框和matrixIt会

我正在尝试使用CIFAR图像数据集(使用R)进行一个对象识别项目,但是在处理数据集时有一个问题,当我将数据读入某个数据帧或矩阵时,对象的对象大小大约为98MB,这导致我的程序运行非常慢,我的代码是矢量化的,但仍然面临性能问题。请有人建议我如何解决这个问题


谢谢。

看起来这些数据的二进制形式很适合平面文件格式,就像bigmemory、ff或rhdf5软件包处理的那样。

98MB没有那么大。您还使用了哪些其他软件包/函数?我没有使用任何软件包,如果您提供更多详细信息,仅使用常规数据框和matrixIt会有所帮助。如果您只是在中读取数据,请查看data.table包中的
fread()
。如果你在做神经网络之类的事情,情况就不同了。所以提供的数据是在mat文件中,但是我不想用Matlab来建立我的模型,所以我用R.Matlab包从mat文件中读取数据。我将使用神经网络建模,请你能建议我应该怎么做。