Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/337.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/4/r/64.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
将大型SAS数据加载到R/Python中_Python_R_Io_Sas - Fatal编程技术网

将大型SAS数据加载到R/Python中

将大型SAS数据加载到R/Python中,python,r,io,sas,Python,R,Io,Sas,目前,我有一些50 GB的SAS数据文件(sas7bdat),我想将以前的SAS代码切换到开源工具,如R或Python。最大的问题是如何处理这些巨大的文件。。。我试图将一个50 GB的文件导出到一个CSV文件中,然后在R中使用fread加载它。但是,它在文件加载过程中崩溃了。所以我想知道处理这个问题的最好方法是什么?提前谢谢 首先要考虑的是: 未压缩的SAS文件很大。50GB可能是您有足够的RAM在内存中保存这么大的对象吗?如果没有,您需要查看R包中的内存不足数据。看到这个任务视图:“罗兰,我

目前,我有一些50 GB的SAS数据文件(
sas7bdat
),我想将以前的SAS代码切换到开源工具,如R或Python。最大的问题是如何处理这些巨大的文件。。。我试图将一个50 GB的文件导出到一个
CSV
文件中,然后在R中使用
fread
加载它。但是,它在文件加载过程中崩溃了。所以我想知道处理这个问题的最好方法是什么?提前谢谢

首先要考虑的是:


  • 未压缩的SAS文件很大。50GB可能是您有足够的RAM在内存中保存这么大的对象吗?如果没有,您需要查看R包中的内存不足数据。看到这个任务视图:“罗兰,我只有16GB,是的,我恐怕不足以把所有的东西都装入内存……考虑把数据像SQLiteThanks一样放到数据库中,以便足智多谋的回复!我会调查派斯帕克。此外,转换的CSV文件不小~30 GB。。。