使用python脚本从CSV文件中删除重复行并更新此CSV文件

我有一个

myfile.csv

，行如下

first, second, third
1, 2, 3
a, b, c
1, 2, 3

等等

我不明白如何删除

myfile.csv

中的重复行

一个条件是，我们无法保存新文件，我们需要更新

myfile.csv

为了在运行完脚本后像这样运行脚本

myfile.csv

first, second, third
a, b, c
1, 2, 3

因此，新数据不会保存到需要更新的新文件

myfile.csv

---

非常感谢。

您可以循环查看数据并筛选列表，以仅包含唯一值：

import csv
with open('filename.csv') as f:
  data = list(csv.reader(f))
  new_data = [a for i, a in enumerate(data) if a not in data[:i]]
  with open('filename.csv', 'w') as t:
     write = csv.writer(t)
     write.writerows(new_data)

---

使用

pandas

模块，简洁明了：

import pandas as pd

df = pd.read_csv('myfile.csv')
df.drop_duplicates(inplace=True)
df.to_csv('myfile.csv', index=False)

CSV文件有多大（行数）？