Python 在不包含重复数据的情况下合并两个数据帧?

Python 在不包含重复数据的情况下合并两个数据帧?,python,pandas,dataframe,Python,Pandas,Dataframe,我有两个数据帧,我希望在不创建重复行的情况下组合它们,,两个数据帧的列标签保持不变,date被设置为这两个数据帧的索引 df1: date A B C 2020-02-21 16:00:00 10 32.0000 23 2020-02-21 15:59:00 23 11.2100 10 2020-02-21 15:58:00 82 38.2350 18 及 df2: date

我有两个数据帧,我希望在不创建重复行的情况下组合它们,,两个数据帧的列标签保持不变,
date
被设置为这两个数据帧的索引

df1

date                 A   B        C
2020-02-21 16:00:00  10  32.0000  23   
2020-02-21 15:59:00  23  11.2100  10   
2020-02-21 15:58:00  82  38.2350  18   

df2

date                 A   B        C
2020-02-21 15:59:00  23  11.2100  10   
2020-02-21 15:58:00  82  38.2350  18   
2020-02-21 15:57:00  32  22.2900  76 
这是期望的结果:


我不确定是否有更优雅的解决方案,但您可以先将数据帧与副本连接起来,然后再删除它们

output = pd.concat([df1, df2]).drop_duplicates()
pd.concat:


删除重复项:

Hi,仅在列上重复,或在所有列数据上重复?共享您处理的代码?我不希望任何行作为一个整体重复。数据是股票市场数据,因此,如果这有意义的话,根据日期,列不会有所不同。这似乎很有效。我假设这会检查每一行的每一列以删除重复项。有没有办法让我检查一下索引是否重复?@JeffoJam你说得对。可以使用“子集”属性来执行此操作。假设date是您的索引,output=pd.concat([df1,df2])。drop_duplicates(subset='date')我确实尝试过,并仔细检查了我的索引是否确实设置为
'date'
,但它返回了:
raise KeyError(diff)
KeyError:index(['date',dtype='object')
,按``,您的意思是它什么也没有返回?也许你可以用你的数据框和新代码更新你的问题,这样我可以看得更清楚。
output = pd.concat([df1, df2]).drop_duplicates()