Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/python-3.x/19.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 3.x 如何从.7z存档中读取包含大量数据的csv文件?_Python 3.x_Libarchive - Fatal编程技术网

Python 3.x 如何从.7z存档中读取包含大量数据的csv文件?

Python 3.x 如何从.7z存档中读取包含大量数据的csv文件?,python-3.x,libarchive,Python 3.x,Libarchive,我有一个包含162GB数据的csv文件,我必须使用7-zip压缩以节省空间。我一直在使用libarchive读取.7z文件,并附加读取的块以在最后得到最终结果。但是这个文件的问题是,它太大了,我无法将它附加到一个创建单个字符串或数据帧的文件中,因为我的主内存限制为8GB。此外,我无法对每个块执行任何操作,因为每次最后一行从某些列上剪辑下来时,读取的块都不一致 以下是我用来读取csv文件的代码段: import libarchive with libarchive.file_reader(r'D

我有一个包含162GB数据的csv文件,我必须使用7-zip压缩以节省空间。我一直在使用libarchive读取.7z文件,并附加读取的块以在最后得到最终结果。但是这个文件的问题是,它太大了,我无法将它附加到一个创建单个字符串或数据帧的文件中,因为我的主内存限制为8GB。此外,我无法对每个块执行任何操作,因为每次最后一行从某些列上剪辑下来时,读取的块都不一致

以下是我用来读取csv文件的代码段:

import libarchive

with libarchive.file_reader(r'D:\Features\four_grams.7z') as e:
    for entry in e:
        for b in entry.get_blocks():
            print(b.decode('utf-8'))
以下是单个输出块的粘贴箱:

请注意最后一行的剪裁

如果能从存档的巨大csv文件中读取完整的行和行块,我将不胜感激