Python 删除csv文件中的重复值

我有一个csv文件，其值如下

68,68
70,70
80,90

在这里，我希望它删除重复项，即给出输出

68
70
80,90

或

---

但是我试着到处搜索，却找不到如何做到这一点

根据您输入的大小，一种简单的方法可能会很好：

$ cat test 
68,68
70,70
80,90
$ cat readvals.py 
#! /usr/bin/env python
import csv
vals = [] # a list for the entire file
with open('test') as infile:
    lines = csv.reader(infile,delimiter=',')
    for i, line in enumerate(lines):
        vals.append([]) # append a sub-list for this row.
        for val in line:
            if val not in vals[i]:
                vals[i].append(val) # add values for the row
print(vals)
$ python readvals.py
[['68'], ['70'], ['80', '90']]

---

对于删除重复行，我使用以下代码

import pandas as pd

df = pd.read_csv('myfile.csv')

df.drop_duplicates(inplace=True)

df.to_csv('myfile.csv', index=False)

---

我建议你看看下面这些，因为它不清楚你的要求

熊猫文件：

---

示例参考：

这不是OP需要的。。

import pandas as pd

df = pd.read_csv('myfile.csv')

df.drop_duplicates(inplace=True)

df.to_csv('myfile.csv', index=False)