Warning: file_get_contents(/data/phpspider/zhask/data//catemap/4/r/80.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
R 加载大型csv';在保持列结构的同时,将数据转换为数据帧_R_Csv_Dataframe_Large Data - Fatal编程技术网

R 加载大型csv';在保持列结构的同时,将数据转换为数据帧

R 加载大型csv';在保持列结构的同时,将数据转换为数据帧,r,csv,dataframe,large-data,R,Csv,Dataframe,Large Data,我正在尝试将一个包含大文件(总计3500万行)的文件夹加载到R中,并将其作为数据帧 虽然使用下面的代码需要10/15分钟才能加载数据,但问题是csv中的所有列都变成了1列。这是我的密码: # Load files temp = list.files(path ="D:/", pattern="*.csv", full.names = TRUE) myfiles = lapply(temp, read.delim) # Make Dataframe df_list = lapply(seq(

我正在尝试将一个包含大文件(总计3500万行)的文件夹加载到R中,并将其作为数据帧

虽然使用下面的代码需要10/15分钟才能加载数据,但问题是csv中的所有列都变成了1列。这是我的密码:

# Load files

temp = list.files(path ="D:/", pattern="*.csv", full.names = TRUE)
myfiles = lapply(temp, read.delim)

# Make Dataframe

df_list = lapply(seq(length(myfiles)),function(i){
  df = as.data.frame(myfiles[i], stringsAsFactors = FALSE)
})

head(do.call(bind_rows,df_list))

df = as.data.frame(data.table::rbindlist(df_list, use.names=TRUE, fill=TRUE))
csv的列可能如下所示:

|A|B|C|D1|E|
但是,我的数据帧中的输出如下:

|A.B.C.D1..E|
请提供有关解决此维护列问题的任何帮助。

您可以使用
fread()
更快地读取csv,并使用
rbindlist()
组合列表中的数据。两者都来自
data.table

library(data.table)


# Load files
temp = list.files(path ="D:/", pattern="*.csv", full.names = TRUE)
使用
fread()
而不是
read.delim()

由于未提供可复制的数据:

df_list <- lapply(1:5, function(x) {
  set.seed(x)

  rows <- sample(1:32, 2)
  mtcars[rows, ]
})

您使用的是
read.delim
,但是如果是csv,您需要设置
sep=“,”
(ps查看
fread
)重新编辑:如果分隔符是
|
,那么您需要相应地设置它。谢谢,两种解决方案都有效,但是fread如前所述,稍微快一点。谢谢,两种解决方案都有效,然而,fread如前所述,速度稍快。
df_list <- lapply(1:5, function(x) {
  set.seed(x)

  rows <- sample(1:32, 2)
  mtcars[rows, ]
})
df <- rbindlist(df_list)
     mpg cyl  disp  hp drat    wt  qsec vs am gear carb
 1: 22.8   4 140.8  95 3.92 3.150 22.90  1  0    4    2
 2: 16.4   8 275.8 180 3.07 4.070 17.40  0  0    3    3
 3: 18.1   6 225.0 105 2.76 3.460 20.22  1  0    3    1
 4: 15.5   8 318.0 150 2.76 3.520 16.87  0  0    3    2
 5: 18.1   6 225.0 105 2.76 3.460 20.22  1  0    3    1
 6: 27.3   4  79.0  66 4.08 1.935 18.90  1  1    4    1
 7: 30.4   4  75.7  52 4.93 1.615 18.52  1  1    4    2
 8: 21.0   6 160.0 110 3.90 2.620 16.46  0  1    4    4
 9: 14.3   8 360.0 245 3.21 3.570 15.84  0  0    3    4
10: 15.5   8 318.0 150 2.76 3.520 16.87  0  0    3    2