Pandas 我怎样才能找到“我的”呢;“非唯一性”;排?

Pandas 我怎样才能找到“我的”呢;“非唯一性”;排?,pandas,csv,datetime,Pandas,Csv,Datetime,我每年每分钟导入超过500k行的CSV文件。 要合并其中的两个文件,我希望每分钟对索引重新采样一次: Temp= pd.read_csv("Temp.csv", sep=";", decimal="," , thousands='.' ,encoding="cp1252") Temp["Time"] = pd.to_datetime(Temp["Time"],dayfirst=True) Temp.set_index(['Time'], inplace=True) Temp= Temp.re

我每年每分钟导入超过500k行的CSV文件。 要合并其中的两个文件,我希望每分钟对索引重新采样一次:

Temp= pd.read_csv("Temp.csv", sep=";", decimal="," , thousands='.'  ,encoding="cp1252")

Temp["Time"] = pd.to_datetime(Temp["Time"],dayfirst=True)
Temp.set_index(['Time'], inplace=True)
Temp= Temp.resample('1Min').ffill()
但我得到了一个错误:

无法使用方法或限制重新索引非唯一索引

如何找到“非唯一”行?

我的解决方案:

Temp= pd.read_csv("Temp.csv", sep=";", decimal="," , thousands='.'  ,encoding="cp1252")
Temp.drop_duplicates(inplace=True) 
Temp["Time"] = pd.to_datetime(Temp["Time"],dayfirst=True)
Temp.set_index(['Time'], inplace=True)
Temp= Temp.resample('1Min').ffill()
我用过:

len(Temp.index)


要想知道,有多个副本

可能每分钟重新索引500k行是疯狂的。在下一次更新开始之前,时间不够完成。仅执行导入一次,然后查看消息是否仍然存在。500k是一年中收集的数据。每分钟一个值,对不起。
len(set(Temp.index))