Python 在DF中处理重复索引

我在pandas中有一对时间序列和一个函数，该函数将查看它们的小时间片，并根据行中的值的某些条件提取相同的行。此函数返回两个数据帧的元组，删除这些匹配行并将其放入新数据帧列表中

我已经意识到，问题是一个数据帧可能包含两个相同的索引（尽管不太可能），在这种情况下，drop命令将删除原始索引和具有重复索引的行，这偶尔会导致不正确的结果

请注意，这两个数据帧都很小，在所有情况下都少于10行，因此糟糕的O（）行为是可以的

我已经想到了两种解决办法，但我不确定如何具体实施它们

（1） 按整数位置引用行，但drop似乎不适用于整数规范。我可以做到：

df.reset_index().drop(1).set_index(["Thingy", "Other"])

重置多索引，但这取决于我知道其他索引级别的名称，感觉非常缓慢/有问题。虽然我想它可能很好

（2） 检查重复的索引，然后向它们添加一些微小的timedelta，这样它们就不再是重复的，但我也不知道如何优雅地做到这一点

以下是此类函数的一个简单示例：

def extract_pairs(df_first, df_second, threshold=0.0):
    name1 = df_first.name
    name2 = df_second.name
    results = []
    flag = False
    for index1, row1 in df_first.iterrows():
        for index2, row2 in df_second.iterrows():
            val1 = row1.get_value("SIZE")
            val2 = row2.get_value("SIZE")
            if val1*(1-threshold) <= val2 <= val1*(1+threshold) :
                row1.loc["Name"] = name1
                row2.loc["Name"] = name2
                results.append(pd.DataFrame([row1, row2], index=[index1, index2]))
                flag = True
                break
        if flag:
            break

    if flag:
        df_first = df_first.drop(index1) #May remove more than one entry!
        df_first.name = name1
        df_second = df_second.drop(index2) #May remove more than one entry!
        df_second.name = name2
        df_first, df_second, new_results = extract_pairs(df_first, df_second)
        results.extend(new_results)

    return df_first, df_second, results

调用时，所需输出为三帧：

Index SIZE          Index SIZE      Index Name Size      
 A     7              C     6         A    Foo  5
                                      B    Bar  5

但给定函数的实际输出为：

Index SIZE          Index SIZE      Index Name Size      
 EMPTY DF             C     6         A    Foo  5
                                      B    Bar  5

---

因为drop（index1）行会删除索引为A的所有行。

我认为，您可以执行以下步骤：

使用

reset\u index（）

将索引放入数据框

选择符合条件的行，使用

.index

返回行位置

drop（）

使用

设置索引（index）

，将“index”列设置回您的索引

我做了以下示例，我想删除列A>0的所有行，返回的行索引将是[1,2,2]，但第四行的名称也是“2”，这是您的问题吗

# Generate the dataset
np.random.seed(1)
rowname = [1,2,2,2,4,4]
myDf = pd.DataFrame(np.random.randn(6,4), index=rowname, columns=list('ABCD'))
print myDf
>>>
          A         B         C         D
 1  1.624345 -0.611756 -0.528172 -1.072969
 2  0.865408 -2.301539  1.744812 -0.761207
 2  0.319039 -0.249370  1.462108 -2.060141
 2 -0.322417 -0.384054  1.133769 -1.099891
 4 -0.172428 -0.877858  0.042214  0.582815
 4 -1.100619  1.144724  0.901591  0.502494

# put your rowindex to your dataframe
newDf = myDf.reset_index()

# get the index from the new dataframe, drop them and set the index back to your result
result = newDf.drop(newDf[newDf.A>0].index).set_index("index")
print result

>>>           A         B         C         D
index                                        
 2     -0.322417 -0.384054  1.133769 -1.099891
 4     -0.172428 -0.877858  0.042214  0.582815
 4     -1.100619  1.144724  0.901591  0.502494

---

对不起，你想在这里实现什么？你想去掉那些多余的副本吗？

drop_duplicates

是做什么的？或者您想保留它们并为副本添加一些区分值？我希望df_first.drop（index1）只删除断开for循环选择的行。实际上，如果两个索引相同，drop也会删除另一行。我只想删除我已标识为一对中的一行。@phil_20686如果

threshold=1

，您希望发生什么？也就是说，当X行接近（即在Y行和Z行的

阈值范围内）但Y行和Z行彼此不接近时？
# Generate the dataset
np.random.seed(1)
rowname = [1,2,2,2,4,4]
myDf = pd.DataFrame(np.random.randn(6,4), index=rowname, columns=list('ABCD'))
print myDf
>>>
          A         B         C         D
 1  1.624345 -0.611756 -0.528172 -1.072969
 2  0.865408 -2.301539  1.744812 -0.761207
 2  0.319039 -0.249370  1.462108 -2.060141
 2 -0.322417 -0.384054  1.133769 -1.099891
 4 -0.172428 -0.877858  0.042214  0.582815
 4 -1.100619  1.144724  0.901591  0.502494

# put your rowindex to your dataframe
newDf = myDf.reset_index()

# get the index from the new dataframe, drop them and set the index back to your result
result = newDf.drop(newDf[newDf.A>0].index).set_index("index")
print result

>>>           A         B         C         D
index                                        
 2     -0.322417 -0.384054  1.133769 -1.099891
 4     -0.172428 -0.877858  0.042214  0.582815
 4     -1.100619  1.144724  0.901591  0.502494