效率读数>;500 MB xlsx到R和Python
在效率读数>;500 MB xlsx到R和Python,python,r,bigdata,xlsx,Python,R,Bigdata,Xlsx,在R和Python中,一切都很好。但是,我无法将超过500 MB的xlsx三页读入R和Python。想知道将较大的xlsx读入R和Python的有效方法是什么。谢谢我不确定这是否能解决您的问题,但您可以尝试openpyxl优化模式。 .试试这些软件包xlsx和openxlsx 这应该是读取数据的最快方式 xlsx::read.xlsx2("myfile.xlsx", sheetName = "Sheet1") 避免内存问题的最好方法就是不要使用这种数据格式。R中最有效的数据格式是压缩格式,如
R
和Python
中,一切都很好。但是,我无法将超过500 MB的xlsx
三页读入R
和Python
。想知道将较大的xlsx
读入R
和Python
的有效方法是什么。谢谢我不确定这是否能解决您的问题,但您可以尝试openpyxl优化模式。
.试试这些软件包
xlsx
和openxlsx
这应该是读取数据的最快方式
xlsx::read.xlsx2("myfile.xlsx", sheetName = "Sheet1")
避免内存问题的最好方法就是不要使用这种数据格式。R中最有效的数据格式是压缩格式,如.Rdata
和.RDS
saveRDS(file, "myfile.RDS")
在大小和速度上会有巨大的差异:-)它会抛出错误:
在.jcall(“RJavaTools”、“Ljava/lang/Object;”、“invokeMethod”、cl、:java.lang.OutOfMemoryError:java堆空间中出错。
有什么想法吗?选项(java.parameters=“-Xmx8000m”)将此设置为代码中的全局选项。如果仍然不工作,请尝试<代码> OpenXLSX < /代码>,因为它是用C++编写的。