在R Studio中从csv加载的行数有限
当我将csv文件加载到R Studio时,我遇到了一个非常奇怪的情况。当我尝试加载包含~190k条记录的文件时,数据帧中只显示~8k条记录 我试着将数据加载到Mac上的R Studio中,一切正常。我在谷歌上搜索了这个问题,但没有找到解决办法 以下是两台机器的规格: 电脑- R+R工作室:最新版本- 内存:8GB MAC- R+R工作室:最新版本- 内存:16GB在R Studio中从csv加载的行数有限,r,import,read.csv,R,Import,Read.csv,当我将csv文件加载到R Studio时,我遇到了一个非常奇怪的情况。当我尝试加载包含~190k条记录的文件时,数据帧中只显示~8k条记录 我试着将数据加载到Mac上的R Studio中,一切正常。我在谷歌上搜索了这个问题,但没有找到解决办法 以下是两台机器的规格: 电脑- R+R工作室:最新版本- 内存:8GB MAC- R+R工作室:最新版本- 内存:16GB 我也尝试过各种解决方案,如(quote=“”),但这并没有解决截断问题。也许我遗漏了一些非常简单的东西。有什么想法吗 尝试使用fre
我也尝试过各种解决方案,如(quote=“”),但这并没有解决截断问题。也许我遗漏了一些非常简单的东西。有什么想法吗 尝试使用
fread
功能,该功能可以比read.csv更快地读取大数据。
在装有R+Rstudio的机器上,我可以在4G RAM下读取3G csv数据。
例如:
library("data.table")
data <- fread("ab.csv", header=TRUE, sep=",", colClasses = "numeric")
您能否提供一些代码来说明这个问题,您是如何加载数据的,您是如何检查大小的。也许是一个
nrow()
,这样我们就可以看到发生了什么或屏幕截图。看起来很奇怪。你的加载语句是什么样子的?也许给我们一个数据集中的样本行?也许在加载的数据帧上执行str
,然后粘贴输出?如果加载后出现错误消息,您能提供它吗?谢谢大家的回复。我尝试在两台计算机上手动或通过标准的“read.csv”语句加载数据,但我的电脑未能加载完整的数据集。我想如果这两种方法(手动+代码)产生相同的结果,那么问题可能是更多的R Studio配置,或者可能是我的硬件配置。我将尝试复制这个问题,并提供更多的上下文。再次感谢!在尝试了这个解决方案后,我的机器能够正确地读取所有内容。再次感谢!另外,我仍然不知道为什么read.csv命令会截断在Windows计算机而不是Mac上加载到全局环境中的行数的根本原因。
memory.limit()
# set max memory usage is 2G
memory.size(max=2000)