Python 在多个列中指定唯一值

返回“Col1”和“Col2”的唯一值的最佳方法是什么

所需输出为

df = pd.DataFrame({'Col1': ['Bob', 'Joe', 'Bill', 'Mary', 'Joe'],
                   'Col2': ['Joe', 'Steve', 'Bob', 'Bob', 'Steve'],
                   'Col3': np.random.random(5)})

---

非

pandas

解决方案：使用set（）

输出：

import pandas as pd
import numpy as np

df = pd.DataFrame({'Col1' : ['Bob', 'Joe', 'Bill', 'Mary', 'Joe'],
              'Col2' : ['Joe', 'Steve', 'Bob', 'Bob', 'Steve'],
               'Col3' : np.random.random(5)})

print df

print set(df.Col1.append(df.Col2).values)

---

我设置了一个

DataFrame

，在它的列中有几个简单的字符串：

   Col1   Col2      Col3
0   Bob    Joe  0.201079
1   Joe  Steve  0.703279
2  Bill    Bob  0.722724
3  Mary    Bob  0.093912
4   Joe  Steve  0.766027
set(['Steve', 'Bob', 'Bill', 'Joe', 'Mary'])

您可以连接感兴趣的列，并调用

unique

函数：

>>> df
   a  b
0  a  g
1  b  h
2  d  a
3  e  e

或：

从输入数组、数据帧列或索引返回唯一值

此函数的输入需要是一维的，因此需要组合多个列。最简单的方法是选择所需的列，然后在平坦的NumPy数组中查看值。整个操作如下所示：

set(df.Col1) | set(df.Col2)

请注意，

ravel（）

是一个数组方法，它返回多维数组的视图（如果可能的话）。参数

'K'

告诉方法按元素在内存中的存储顺序展平数组（熊猫通常将底层数组存储在；行之前的列中）。这比使用该方法的默认“C”顺序要快得多

---

另一种方法是选择列并将其传递给：

这里不需要使用

ravel（）

，因为该方法处理多维数组。即使如此，这可能比pd.unique慢，因为它使用基于排序的算法而不是哈希表来识别唯一值

对于较大的数据帧，速度上的差异非常显著（特别是在只有少数唯一值的情况下）：

---

如果使用numpy v1.13+更新的解决方案使用多列，则需要在中指定轴，否则数组将隐式展平

>>> df1 = pd.concat([df]*100000, ignore_index=True) # DataFrame with 500000 rows
>>> %timeit np.unique(df1[['Col1', 'Col2']].values)
1 loop, best of 3: 1.12 s per loop

>>> %timeit pd.unique(df1[['Col1', 'Col2']].values.ravel('K'))
10 loops, best of 3: 38.9 ms per loop

>>> %timeit pd.unique(df1[['Col1', 'Col2']].values.ravel()) # ravel using C order
10 loops, best of 3: 49.9 ms per loop

---

这一变化于2016年11月引入：

对于我们这些热爱所有事物的人，熊猫、应用，当然还有lambda功能：

import numpy as np

np.unique(df[['col1', 'col2']], axis=0)

输出将是 ['Mary'，'Joe'，'Steve'，'Bob'，'Bill']

还有另一种方法

将numpy作为np导入
集合（np.连接（df.值））

如何取回数据帧而不是数组？@Lisle:这两种方法都返回一个NumPy数组，因此您必须手动构造它，例如，

pd.dataframe（唯一值）

。没有直接返回数据帧的好方法。@Lisle因为使用了pd.unique，所以它返回一个numpy.ndarray作为最终输出。这就是你要问的吗？@Lisle，也许这一个df=df.drop_重复（子集=['C1'，'C2'，'C3']）？要只将需要的列放入数据帧中，你可以执行df.groupby（['C1'，'C2'，'C3']）.size（）.reset_index（）.drop（columns=0）。这将创建一个组，默认情况下，该组将选择唯一的组合并计算每组的项目数。重置索引将从多索引更改为平面二维。最后是删除count of items列。另请参阅以了解另一个不同但相关的问题。这里选择的答案使用了

df1.groupby（['A'，'B']）.size（）.reset_index（）.rename（columns={0:'count'}）

This_is_uniuqe={'col1'：[“Hippo”，“H”]，“col2:[“potamus”，“ippotomus”]，}

set(df.Col1) | set(df.Col2)

>>> pd.unique(df[['Col1', 'Col2']].values.ravel('K'))
array(['Bob', 'Joe', 'Bill', 'Mary', 'Steve'], dtype=object)

>>> np.unique(df[['Col1', 'Col2']].values)
array(['Bill', 'Bob', 'Joe', 'Mary', 'Steve'], dtype=object)

>>> df1 = pd.concat([df]*100000, ignore_index=True) # DataFrame with 500000 rows
>>> %timeit np.unique(df1[['Col1', 'Col2']].values)
1 loop, best of 3: 1.12 s per loop

>>> %timeit pd.unique(df1[['Col1', 'Col2']].values.ravel('K'))
10 loops, best of 3: 38.9 ms per loop

>>> %timeit pd.unique(df1[['Col1', 'Col2']].values.ravel()) # ravel using C order
10 loops, best of 3: 49.9 ms per loop

import numpy as np

np.unique(df[['col1', 'col2']], axis=0)

df['Col3'] = df[['Col1', 'Col2']].apply(lambda x: ''.join(x), axis=1)

list(set(df[['Col1', 'Col2']].as_matrix().reshape((1,-1)).tolist()[0]))