如何使用python防止单词列表中出现重复行?

如何使用python防止单词列表中出现重复行?,python,duplicates,Python,Duplicates,我将从for循环中收到许多不同的单词。我需要确定该单词是否出现在at循环之前,如果没有,每个唯一的单词必须保存到txt文件中,如果该单词已经出现,那么逻辑必须返回到下一个单词的循环 我将收到很多字,因此,对于RAM内存来说,这种逻辑需要是轻的。使用一个。它将防止重复条目 如果您已经有一个单词列表: world_list = [...] # a list of words output = set(word_list) 如果您正在从输入流(如文件)中读取: output = set() for

我将从
for
循环中收到许多不同的单词。我需要确定该单词是否出现在at循环之前,如果没有,每个唯一的单词必须保存到txt文件中,如果该单词已经出现,那么逻辑必须返回到下一个单词的
循环

我将收到很多字,因此,对于RAM内存来说,这种逻辑需要是轻的。

使用一个。它将防止重复条目

如果您已经有一个单词列表:

world_list = [...]  # a list of words
output = set(word_list)
如果您正在从输入流(如文件)中读取:

output = set()
for line in f.readline():
    output.add(line)

然后,您可以将
集合
写入文本文件,就像使用
列表

一样。您是否使用了集合?将
列表
中的单词转换为
集合
,您将立即对其进行重复数据消除。@EricDuminil否。。。我不这么认为。这里没有任何东西被移除。好像单词来自函数调用/生成器。@COLDSPEED:你说得对。真丢脸,我没有费心把“复本”读完整。如果你有更好的对手。。。我撤回了我的投票。