Python 删除具有重复索引的行

如何删除具有重复索引值的行

在下面的天气数据框中，有时科学家会返回并更正观测结果——不是通过编辑错误的行，而是通过在文件末尾添加重复的行

我正在从网络上读取一些自动气象数据（观测每5分钟进行一次，并为每个气象站编译成每月的文件）。解析一个文件后，数据框如下所示：

                      Sta  Precip1hr  Precip5min  Temp  DewPnt  WindSpd  WindDir  AtmPress
Date                                                                                      
2001-01-01 00:00:00  KPDX          0           0     4       3        0        0     30.31
2001-01-01 00:05:00  KPDX          0           0     4       3        0        0     30.30
2001-01-01 00:10:00  KPDX          0           0     4       3        4       80     30.30
2001-01-01 00:15:00  KPDX          0           0     3       2        5       90     30.30
2001-01-01 00:20:00  KPDX          0           0     3       2       10      110     30.28

重复案例示例：

import pandas 
import datetime

startdate = datetime.datetime(2001, 1, 1, 0, 0)
enddate = datetime.datetime(2001, 1, 1, 5, 0)
index = pandas.DatetimeIndex(start=startdate, end=enddate, freq='H')
data1 = {'A' : range(6), 'B' : range(6)}
data2 = {'A' : [20, -30, 40], 'B' : [-50, 60, -70]}
df1 = pandas.DataFrame(data=data1, index=index)
df2 = pandas.DataFrame(data=data2, index=index[:3])
df3 = df2.append(df1)

df3
                       A   B
2001-01-01 00:00:00   20 -50
2001-01-01 01:00:00  -30  60
2001-01-01 02:00:00   40 -70
2001-01-01 03:00:00    3   3
2001-01-01 04:00:00    4   4
2001-01-01 05:00:00    5   5
2001-01-01 00:00:00    0   0
2001-01-01 01:00:00    1   1
2001-01-01 02:00:00    2   2

因此，我需要

df3

最终成为：

                       A   B
2001-01-01 00:00:00    0   0
2001-01-01 01:00:00    1   1
2001-01-01 02:00:00    2   2
2001-01-01 03:00:00    3   3
2001-01-01 04:00:00    4   4
2001-01-01 05:00:00    5   5

---

我原以为添加一列行号（

df3['rownum']=range（df3.shape[0]）

）可以帮助我为

DatetimeIndex

的任何值选择最底层的行，但我一直在通过

或
pivot
（或？？？）语句来计算
group\u。这其实很简单

grouped = df3.groupby(level=0)
df4 = grouped.last()
df4
                      A   B  rownum

2001-01-01 00:00:00   0   0       6
2001-01-01 01:00:00   1   1       7
2001-01-01 02:00:00   2   2       8
2001-01-01 03:00:00   3   3       3
2001-01-01 04:00:00   4   4       4
2001-01-01 05:00:00   5   5       5

后续编辑2013-10-29
如果我有一个相当复杂的
multi-index
，我想我更喜欢
groupby
方法。以下是留给后代的简单例子：

import numpy as np
import pandas

# fake index
idx = pandas.MultiIndex.from_tuples([('a', letter) for letter in list('abcde')])

# random data + naming the index levels
df1 = pandas.DataFrame(np.random.normal(size=(5,2)), index=idx, columns=['colA', 'colB'])
df1.index.names = ['iA', 'iB']

# artificially append some duplicate data
df1 = df1.append(df1.select(lambda idx: idx[1] in ['c', 'e']))
df1
#           colA      colB
#iA iB                    
#a  a  -1.297535  0.691787
#   b  -1.688411  0.404430
#   c   0.275806 -0.078871
#   d  -0.509815 -0.220326
#   e  -0.066680  0.607233
#   c   0.275806 -0.078871  # <--- dup 1
#   e  -0.066680  0.607233  # <--- dup 2

这会将索引添加为DataFrame列，删除该列上的重复项，然后删除新列：

df = (df.reset_index()
        .drop_duplicates(subset='index', keep='last')
        .set_index('index').sort_index())

请注意，在结尾使用上面的
.sort_index（）
是必要的，并且是可选的。
不幸的是，我认为Pandas不允许从索引中删除DUP。我建议如下：

df3 = df3.reset_index() # makes date column part of your data
df3.columns = ['timestamp','A','B','rownum'] # set names
df3 = df3.drop_duplicates('timestamp',take_last=True).set_index('timestamp') #done!

我建议使用熊猫指数本身的方法：

df3 = df3[~df3.index.duplicated(keep='first')]

虽然所有其他方法都有效，
.drop\u duplicates
是所提供示例中性能最差的方法。此外，虽然方法的性能稍差，但我发现复制的方法更具可读性

使用提供的样本数据：

>>> %timeit df3.reset_index().drop_duplicates(subset='index', keep='first').set_index('index')
1000 loops, best of 3: 1.54 ms per loop

>>> %timeit df3.groupby(df3.index).first()
1000 loops, best of 3: 580 µs per loop

>>> %timeit df3[~df3.index.duplicated(keep='first')]
1000 loops, best of 3: 307 µs per loop

请注意，您可以通过将keep参数更改为
“last”
来保留最后一个元素

还应注意，此方法也适用于
多索引
（使用中指定的df1）：

如果像我这样的人喜欢使用熊猫点符号（如管道）进行可链接数据操作，那么以下内容可能会很有用：

df3 = df3.query('~index.duplicated()')

这将启用如下链接语句：

df3.assign(C=2).query('~index.duplicated()').mean()

删除重复项（先保留）

删除重复项（保留最后一个）

测试：使用OP数据的10k回路

numpy method - 3.03 seconds
df.loc[~df.index.duplicated(keep='first')] - 4.43 seconds
df.groupby(df.index).first() - 21 seconds
reset_index() method - 29 seconds

另一个变体是：
df.reset_index（）.drop_duplicates（cols='index'，take_last=True）。set_index（'index'））
虽然此方法有效，但它也会创建数据帧的两个临时副本，并且性能明显低于使用重复索引或建议作为备选答案的groupby方法。如果您的索引是多索引，
reset_index（）
会添加列级别为0、级别为1，等等，若你们的索引有一个名字，那个么这个名字将被用来代替“索引”标签。这使得它比一行程序更适合任何数据帧
index\u label=getattr（df.index，'names'，getattr（df.index，'name，'index'））
then
cols=index\u label
then
set\u index（index\u labels）
即使这样也不是万无一失的（对于未命名的多索引也不起作用）。将索引移动到一列，清除重复项，并重置索引非常棒，这正是我所需要的！给定
idx=df.index.name或'index'
，也可以执行
df2=df.reset_index（）；df2.删除重复项（idx，就地=真）；df2.设置索引（idx，inplace=True）
以避免中间副本（由于
inplace=True
）如果它们有名称，否则（如果一个名称没有）假设
level=[0,1]
将在有两个级别
df1.groupby（level=[0,1]）.last（）时起作用。这应该是熊猫的一部分，作为对
drop\u duplicates
@dashesy-yeah的补充。使用
df.index.names
是按索引的各个级别进行分组的简单方法。非常好的解决方案，谢谢！我还要补充一点，这在
xarray
中适用，用于处理重复的日期时间索引，以及使
ds.resample
和
ds.groupby
操作失败的操作。对我前面的评论进行了修改：只要您更改
grouped=df3.groupby（级别=0），它在
xarray
中有效
to
grouped=df3.groupby（dim='time'）
或任何包含重复项的维度。获取重复项的另一种方法是夜间时钟设置为夏时制时的每小时数据：凌晨1点、下午2点、下午3点、下午2点、下午3点、下午4点……当您说“删除重复项”时，此处的上下文含蓄地是“保留第一项”。i、 e.
删除重复项（保留class='first'）
。（情况并非总是如此，有时很难从其他字段中找出应该保留哪一行，或者合并多个行，从不同的行填充NAs）。我尝试了这一方法，但无法使其工作。。我得到一个类似这样的错误：
TypeError:“Series”对象是可变的，因此不能对它们进行哈希处理。。这真的对你有用吗？它对我有用，使用熊猫1.2.2。我不得不更改索引的结构，因为
.DateTimeIndex
不再支持
start
和
end
参数，但我使用了
.date\u range
。
loc
可能不是必需的。只需执行
df3=df3[~df3.index.duplicated（keep='first'）]
，这将删除除第一次出现之外的所有具有重复索引的行。如果有人不介意回答，@jsl5703会反转掩码，~在df3=df3.loc[~df3.index.duplicated（keep='first'）中做什么。因此，它将所有正确的东西都变成了错误，反之亦然。在这种情况下，这意味着我们将根据方法选择那些不重复的。这是什么巫术，在数据帧上使用按位（~）操作，它甚至可以工作。投赞成票并发表评论，因为投赞成票似乎不够。为%timeit.添加了奖金，用于那些喜欢“链接”的人：
df3.query（~index.duplicated（keep='first'））”
df3.assign(C=2).query('~index.duplicated()').mean()

idx = np.unique( df.index.values, return_index = True )[1]
df = df.iloc[idx]

df = df[::-1]
df = df.iloc[ np.unique( df.index.values, return_index = True )[1] ]

numpy method - 3.03 seconds
df.loc[~df.index.duplicated(keep='first')] - 4.43 seconds
df.groupby(df.index).first() - 21 seconds
reset_index() method - 29 seconds