Warning: file_get_contents(/data/phpspider/zhask/data//catemap/4/r/78.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
使用fread(和数据连接)将多个gzip文件读取到单个data.table中_R_Data.table_Gzip_Fread - Fatal编程技术网

使用fread(和数据连接)将多个gzip文件读取到单个data.table中

使用fread(和数据连接)将多个gzip文件读取到单个data.table中,r,data.table,gzip,fread,R,Data.table,Gzip,Fread,我正在查看此线程:“” 我从“Matt Dowle”中看到fread“可以接受非文件,如http地址和连接”。我过去尝试过通过gzip连接,但没有成功。有没有人举过一个例子来说明如何使用fread读取gzip文件,而不需要在本地解压或使用管道 现在,我在本地解压网络文件,使用fread读取它们,并将它们附加到使用rbindlist读取的其他数据中。然而,我认为可能有一个更快的方法来实现这一点 此外,根据“James”的原始问题,如果提供对gzip文件(或使用其他算法压缩的文件)的支持,那么在提议

我正在查看此线程:“”

我从“Matt Dowle”中看到fread“可以接受非文件,如http地址和连接”。我过去尝试过通过gzip连接,但没有成功。有没有人举过一个例子来说明如何使用fread读取gzip文件,而不需要在本地解压或使用管道

现在,我在本地解压网络文件,使用fread读取它们,并将它们附加到使用rbindlist读取的其他数据中。然而,我认为可能有一个更快的方法来实现这一点

此外,根据“James”的原始问题,如果提供对gzip文件(或使用其他算法压缩的文件)的支持,那么在提议中打开并连接多个文件将是非常好的。也许通过允许用户通过fread:

  • gzip连接数组,或
  • 文件数组和有关所提供文件类型(或要使用的连接类型)的一些信息,或
  • 一个文件数组,通过自动识别文件是否使用gzip或其他格式压缩,或
  • 第1点、第2点和第3点的组合
  • 这可能已经到位了,我希望有人能给我一些示例代码或给我指出正确的方向。我研究了这个问题,并将其作为请求/bug提交,但我不能这样做(如果我在这里发布,希望没有人会生气)

    最后,在R中,是否有人知道是否可以将文件读入RAM并向该虚拟文件传递句柄,而无需使用RAM磁盘等

    我希望有人能帮助我提高代码的性能,该代码旨在读取我们网络上的一千个gzip文件,这些文件可能有不同的数据列(即并非所有文件都有相同的列,但所有文件都至少有一定程度的重叠)。这些文件的总大小约为10Gb。

    这是一个。您可以在
    fread()中使用系统命令,但必须解压缩。但是您所问的问题将非常有用,应该在某个时候实施。