Python 熊猫中非唯一索引的性能影响是什么？

从pandas文档中，我收集到唯一值索引可以使某些操作有效，而非唯一索引偶尔是可以容忍的

从外部看，非唯一索引似乎没有被任何方式利用。例如，下面的

ix

查询速度很慢，似乎正在扫描整个数据帧

In [23]: import numpy as np
In [24]: import pandas as pd
In [25]: x = np.random.randint(0, 10**7, 10**7)
In [26]: df1 = pd.DataFrame({'x':x})
In [27]: df2 = df1.set_index('x', drop=False)
In [28]: %timeit df2.ix[0]
1 loops, best of 3: 402 ms per loop
In [29]: %timeit df1.ix[0]
10000 loops, best of 3: 123 us per loop

（我意识到两个

ix

查询返回的结果并不相同——这只是一个例子，在非唯一索引上调用

ix

的速度要慢得多）

---

有没有什么方法可以诱使pandas使用更快的查找方法，比如对非唯一和/或排序索引进行二进制搜索？

当索引是唯一的时，pandas使用哈希表将键映射到值O（1）。当索引非唯一且已排序时，panda使用二进制搜索O（logN），当索引为随机排序时，panda需要检查索引O（N）中的所有键

您可以调用

sort\u index

方法：

import numpy as np
import pandas as pd
x = np.random.randint(0, 200, 10**6)
df1 = pd.DataFrame({'x':x})
df2 = df1.set_index('x', drop=False)
df3 = df2.sort_index()
%timeit df1.loc[100]
%timeit df2.loc[100]
%timeit df3.loc[100]

结果:

10000 loops, best of 3: 71.2 µs per loop
10 loops, best of 3: 38.9 ms per loop
10000 loops, best of 3: 134 µs per loop

，但没有什么比一张彩色的计时图表更能说明这一点

绘图是使用。代码，供您参考：

import pandas as pd
import perfplot

_rnd = np.random.RandomState(42)

def make_data(n):    
    x = _rnd.randint(0, 200, n)
    df1 = pd.DataFrame({'x':x})
    df2 = df1.set_index('x', drop=False)
    df3 = df2.sort_index()

    return df1, df2, df3

perfplot.show(
    setup=lambda n: make_data(n),
    kernels=[
        lambda dfs: dfs[0].loc[100],
        lambda dfs: dfs[1].loc[100],        
        lambda dfs: dfs[2].loc[100],
    ],
    labels=['Unique index', 'Non-unique, unsorted index', 'Non-unique, sorted index'],
    n_range=[2 ** k for k in range(8, 23)],
    xlabel='N',
    logx=True,
    logy=True,
    equality_check=False)

---

我不明白最后的时间安排。df3应该更快？@lucid_dreamer我也感到困惑，但df1使用默认索引，从0到len（df1）-1，并且是唯一的，因此df1.loc[]使用哈希表。df2将索引设置为“x”，这不是唯一的，也不是排序的，因此它进行线性扫描，O（N）。df3与df2相同，但排序后仍然是非唯一的，因此它进行二进制搜索。那么为什么df2的线性扫描速度更快呢？我不明白为什么熊猫会在这里切换到二进制搜索。对于多重映射，索引仍然可以在O（1+R）中进行，而不是在O（logN+R）中进行（其中R是返回的结果数）。当索引是唯一的时，它是否也被排序是否重要？答案是否取决于该索引是否为多重索引？