将大型SAS数据加载到R/Python中
目前,我有一些50 GB的SAS数据文件(将大型SAS数据加载到R/Python中,python,r,io,sas,Python,R,Io,Sas,目前,我有一些50 GB的SAS数据文件(sas7bdat),我想将以前的SAS代码切换到开源工具,如R或Python。最大的问题是如何处理这些巨大的文件。。。我试图将一个50 GB的文件导出到一个CSV文件中,然后在R中使用fread加载它。但是,它在文件加载过程中崩溃了。所以我想知道处理这个问题的最好方法是什么?提前谢谢 首先要考虑的是: 未压缩的SAS文件很大。50GB可能是您有足够的RAM在内存中保存这么大的对象吗?如果没有,您需要查看R包中的内存不足数据。看到这个任务视图:“罗兰,我
sas7bdat
),我想将以前的SAS代码切换到开源工具,如R或Python。最大的问题是如何处理这些巨大的文件。。。我试图将一个50 GB的文件导出到一个CSV
文件中,然后在R中使用fread
加载它。但是,它在文件加载过程中崩溃了。所以我想知道处理这个问题的最好方法是什么?提前谢谢 首先要考虑的是:
- 未压缩的SAS文件很大。50GB可能是您有足够的RAM在内存中保存这么大的对象吗?如果没有,您需要查看R包中的内存不足数据。看到这个任务视图:“罗兰,我只有16GB,是的,我恐怕不足以把所有的东西都装入内存……考虑把数据像SQLiteThanks一样放到数据库中,以便足智多谋的回复!我会调查派斯帕克。此外,转换的CSV文件不小~30 GB。。。