Python 2.7 分块读取大型txt文件并处理数据

Python 2.7 分块读取大型txt文件并处理数据,python-2.7,text-files,chunks,Python 2.7,Text Files,Chunks,我应该把一个大的txt文件分块读取,并且必须对块中的每个单词进行处理。但有些词可以切成馅饼。 例如: text_in_file = 'some text in file to be processed' text_in_file.read(15) 结果将是“fi中的一些文本”、“要处理的文件”等等 有没有办法确定单词是否被切掉,并将上一块的结尾和下一块的开头连接起来?请逐行阅读,下面是方法: 这样,您(可能)就不会得到“拆分”字,这取决于您的文件。每次将一个字符读入某种类型的缓冲区,当您到达

我应该把一个大的txt文件分块读取,并且必须对块中的每个单词进行处理。但有些词可以切成馅饼。 例如:

text_in_file = 'some text in file to be processed'
text_in_file.read(15)
结果将是
“fi中的一些文本”、“要处理的文件”
等等


有没有办法确定单词是否被切掉,并将上一块的结尾和下一块的开头连接起来?

请逐行阅读,下面是方法:


这样,您(可能)就不会得到“拆分”字,这取决于您的文件。

每次将一个字符读入某种类型的缓冲区,当您到达字边界时,处理缓冲区。您通常试图解决的问题是将整个文件同时存储在内存中,这就是为什么您要分块阅读它。谢谢,但这并不是我所需要的。