我可以在R中并行读取1个大CSV文件吗?

我可以在R中并行读取1个大CSV文件吗?,r,multithreading,csv,parallel-processing,R,Multithreading,Csv,Parallel Processing,我有一个很大的csv文件,需要很长时间才能读取。我可以使用类似于“parallel”或相关的包在R中并行地阅读这些内容吗?我尝试过使用McLappy,但它不起作用。根据OP的评论,fread来自数据。表包起作用。代码如下: library(data.table) dt <- fread("myFile.csv") 库(data.table) 嗨,你在网上查过这篇文章了吗?另外,请查看data.table包中的fread。它可以做你需要的事情(但不是并行的)。什么是大的

我有一个很大的csv文件,需要很长时间才能读取。我可以使用类似于“parallel”或相关的包在R中并行地阅读这些内容吗?我尝试过使用McLappy,但它不起作用。

根据OP的评论,
fread
来自
数据。表
包起作用。代码如下:

library(data.table)
dt <- fread("myFile.csv")
库(data.table)

嗨,你在网上查过这篇文章了吗?另外,请查看
data.table
包中的
fread
。它可以做你需要的事情(但不是并行的)。什么是大的?行数、列数,CSV的大小是多少?此外,添加代码,即使它不起作用。我认为可以在
mclappy
中使用
fread
并指定行数块。我认为只使用一个核心是一个缓慢的想法。现在使用fread,我可以做到5%的时间。这是一个1.2GB的CSV文件,使用read.CSV大约需要4-5分钟,现在只需要14秒。谢谢你,理查德。我将尝试检查是否可以将fread()与McLappy zx一起使用,谢谢。@Ansjovis86您可以发布最适合您的答案。@Frank我使用OP的评论将我的评论作为答案写了出来。