R 加载大型csv';在保持列结构的同时,将数据转换为数据帧
我正在尝试将一个包含大文件(总计3500万行)的文件夹加载到R中,并将其作为数据帧 虽然使用下面的代码需要10/15分钟才能加载数据,但问题是csv中的所有列都变成了1列。这是我的密码:R 加载大型csv';在保持列结构的同时,将数据转换为数据帧,r,csv,dataframe,large-data,R,Csv,Dataframe,Large Data,我正在尝试将一个包含大文件(总计3500万行)的文件夹加载到R中,并将其作为数据帧 虽然使用下面的代码需要10/15分钟才能加载数据,但问题是csv中的所有列都变成了1列。这是我的密码: # Load files temp = list.files(path ="D:/", pattern="*.csv", full.names = TRUE) myfiles = lapply(temp, read.delim) # Make Dataframe df_list = lapply(seq(
# Load files
temp = list.files(path ="D:/", pattern="*.csv", full.names = TRUE)
myfiles = lapply(temp, read.delim)
# Make Dataframe
df_list = lapply(seq(length(myfiles)),function(i){
df = as.data.frame(myfiles[i], stringsAsFactors = FALSE)
})
head(do.call(bind_rows,df_list))
df = as.data.frame(data.table::rbindlist(df_list, use.names=TRUE, fill=TRUE))
csv的列可能如下所示:
|A|B|C|D1|E|
但是,我的数据帧中的输出如下:
|A.B.C.D1..E|
请提供有关解决此维护列问题的任何帮助。您可以使用fread()
更快地读取csv,并使用rbindlist()
组合列表中的数据。两者都来自data.table
包
library(data.table)
# Load files
temp = list.files(path ="D:/", pattern="*.csv", full.names = TRUE)
使用fread()
而不是read.delim()
:
由于未提供可复制的数据:
df_list <- lapply(1:5, function(x) {
set.seed(x)
rows <- sample(1:32, 2)
mtcars[rows, ]
})
您使用的是
read.delim
,但是如果是csv,您需要设置sep=“,”
(ps查看fread
)重新编辑:如果分隔符是|
,那么您需要相应地设置它。谢谢,两种解决方案都有效,但是fread如前所述,稍微快一点。谢谢,两种解决方案都有效,然而,fread如前所述,速度稍快。
df_list <- lapply(1:5, function(x) {
set.seed(x)
rows <- sample(1:32, 2)
mtcars[rows, ]
})
df <- rbindlist(df_list)
mpg cyl disp hp drat wt qsec vs am gear carb
1: 22.8 4 140.8 95 3.92 3.150 22.90 1 0 4 2
2: 16.4 8 275.8 180 3.07 4.070 17.40 0 0 3 3
3: 18.1 6 225.0 105 2.76 3.460 20.22 1 0 3 1
4: 15.5 8 318.0 150 2.76 3.520 16.87 0 0 3 2
5: 18.1 6 225.0 105 2.76 3.460 20.22 1 0 3 1
6: 27.3 4 79.0 66 4.08 1.935 18.90 1 1 4 1
7: 30.4 4 75.7 52 4.93 1.615 18.52 1 1 4 2
8: 21.0 6 160.0 110 3.90 2.620 16.46 0 1 4 4
9: 14.3 8 360.0 245 3.21 3.570 15.84 0 0 3 4
10: 15.5 8 318.0 150 2.76 3.520 16.87 0 0 3 2