Python 无法读取600MB文本文件的全部内容

所以我有一个非常大的文本文件，它的密码是6400万。

---

（问题可能与行尾有关。请尝试将文件读取模式强制为二进制

with open(abs_filename, 'rb') as infile:

---

你能在问题中给出一个罚款的例子吗？你不是在输入文件而不是输出文件上运行你的（相当低效的）行计数检查吗？例如：你不是应该在

outfile=base+“\u no\u duplicate”产生的文件名上运行它吗+ext

？@Jean-Françoisfare我可以给你一个200MB输出文件的示例，但不是原始文件的示例，因为我无法打开it@JonClements不，我想数一数输入文件的行数，这两个脚本是独立的，并且在原始文件上工作。对不起，我很困惑。您的输入文件包含重复的，然后您就可以重复了创建一个没有重复项的新文件，然后比较输入文件的行数，以证明没有从输出文件中删除重复项？我真的不知道它是如何解决这个问题的。除非有重复项，但行尾不同，并且以二进制方式打开会使行不重复。

abs_filename = r"D:\realhuman_phill.txt"
print "counting lines in {}".format(abs_filename)
with open(abs_filename) as infile:
    counter = 0
    for line in infile:
        counter = counter + 1 
print counter

with open(abs_filename, 'rb') as infile: