Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/linux/22.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
有没有一种方法可以使用python脚本快速读取大型(GB大小)多个文本文件?_Python_Linux_Text_Multiprocessing - Fatal编程技术网

有没有一种方法可以使用python脚本快速读取大型(GB大小)多个文本文件?

有没有一种方法可以使用python脚本快速读取大型(GB大小)多个文本文件?,python,linux,text,multiprocessing,Python,Linux,Text,Multiprocessing,有一个文件夹包含Gb大小的文本文件(大多数大于30GB),我需要读取这些文件并将其替换为“to*。我使用sed来执行此操作。但是速度非常慢。如何使用python脚本来执行此操作而不影响Ram?分别读取每一行 用这个 单独阅读evry line?sed是一个基本的Unix工具。因此,它有一个简单的命令行界面,内存占用很小,速度非常快。这里的瓶颈是什么?如果磁盘IO是答案,我无法想象会有多高的收益。我同意@SergeBallesta,如果Python解决方案同样快,我会感到非常惊讶。@AMC-在任务

有一个文件夹包含Gb大小的文本文件(大多数大于30GB),我需要读取这些文件并将其替换为“to*。我使用sed来执行此操作。但是速度非常慢。如何使用python脚本来执行此操作而不影响Ram?

分别读取每一行 用这个


单独阅读evry line

sed
是一个基本的Unix工具。因此,它有一个简单的命令行界面,内存占用很小,速度非常快。这里的瓶颈是什么?如果磁盘IO是答案,我无法想象会有多高的收益。我同意@SergeBallesta,如果Python解决方案同样快,我会感到非常惊讶。@AMC-在任务的执行过程中,Python比“代码> SED sed这样的低级C程序快吗?@Benyamin Karimi我需要阅读所有的文本文件,而不是一个特定的。那么脚本是什么呢?这似乎是从@SandunDayananda抄袭的。我认为文件的数量不会影响他们解决方案的有效性。或者我应该说,“他们的”解决方案@tripleee
with open("sample.txt") as infile:
    for line in infile:
        do_something_with(line)