Python 删除行中的重复值，替换为NaN，将NaN移到行的末尾
问题： 如何从每一行中删除重复的单元格值，在一个数据帧中分别考虑每一行（也许用NAN替换它们） 如果我们能将所有新创建的NAN移到每行的末尾，那就更好了Python 删除行中的重复值，替换为NaN，将NaN移到行的末尾,python,pandas,dataframe,duplicates,Python,Pandas,Dataframe,Duplicates,问题： 如何从每一行中删除重复的单元格值，在一个数据帧中分别考虑每一行（也许用NAN替换它们） 如果我们能将所有新创建的NAN移到每行的末尾，那就更好了 参考：相关但不同的帖子： 在上发布如何删除被视为重复的整行： 在上发布如何从列中的列表中删除重复项： （该答案返回一系列字符串，而不是数据帧） 例如： import pandas as pd df = pd.DataFrame({'a': ['A', 'A', 'C', 'B'],
参考：相关但不同的帖子：
- 在上发布如何删除被视为重复的整行：
- 在上发布如何从列中的列表中删除重复项：
-
- （该答案返回一系列字符串，而不是数据帧）
-
例如：
import pandas as pd
df = pd.DataFrame({'a': ['A', 'A', 'C', 'B'],
'b': ['B', 'D', 'B', 'B'],
'c': ['C', 'C', 'C', 'A'],
'd': ['D', 'D', 'B', 'A']},
index=[0, 1, 2, 3])
df您可以
堆叠以这种方式删除重复的cumcountstackcumcountNaNdf1 = df.stack().reset_index().drop(columns='level_1').drop_duplicates()
df1['col'] = df1.groupby('level_0').cumcount()
df1 = (df1.pivot(index='level_0', columns='col', values=0)
.rename_axis(index=None, columns=None))
0 1 2 3
0 A B C D
1 A D C NaN
2 C B NaN NaN
3 B A NaN NaN
时间安排 假设有4列，让我们看看随着行数的增加，这些方法之间的比较情况。当事情很小时，
mapapply堆栈drop\u duplicatespivotimport perfplot
import pandas as pd
import numpy as np
def stack(df):
df1 = df.stack().reset_index().drop(columns='level_1').drop_duplicates()
df1['col'] = df1.groupby('level_0').cumcount()
df1 = (df1.pivot(index='level_0', columns='col', values=0)
.rename_axis(index=None, columns=None))
return df1
def apply_drop_dup(df):
return pd.DataFrame.from_dict(df.apply(lambda x: x.drop_duplicates().tolist(),
axis=1).to_dict(), orient='index')
def apply_unique(df):
return pd.DataFrame(df.apply(pd.Series.unique, axis=1).tolist())
def list_map(df):
return pd.DataFrame(list(map(pd.unique, df.values)))
perfplot.show(
setup=lambda n: pd.DataFrame(np.random.choice(list('ABCD'), (n, 4)),
columns=list('abcd')),
kernels=[
lambda df: stack(df),
lambda df: apply_drop_dup(df),
lambda df: apply_unique(df),
lambda df: list_map(df),
],
labels=['stack', 'apply_drop_dup', 'apply_unique', 'list_map'],
n_range=[2 ** k for k in range(18)],
equality_check=lambda x,y: x.compare(y).empty,
xlabel='~len(df)'
)
最后，如果保留值最初在每行中出现的顺序并不重要，则可以使用
numpydropnadef with_numpy(df):
arr = np.sort(df.to_numpy(), axis=1)
r = np.roll(arr, 1, axis=1)
r[:, 0] = np.NaN
arr = np.where((arr != r), arr, np.NaN)
# Move all NaN to the right. Credit @Divakar
mask = pd.notnull(arr)
justified_mask = np.flip(np.sort(mask, axis=1), 1)
out = np.full(arr.shape, np.NaN, dtype=object)
out[justified_mask] = arr[mask]
return pd.DataFrame(out, index=df.index).dropna(how='all', axis='columns')
with_numpy(df)
# 0 1 2 3
#0 A B C D
#1 A C D NaN
#2 B C NaN NaN # B/c this method sorts, B before C
#3 A B NaN NaN
您可以在
行Nanduplicates = df.apply(pd.Series.duplicated, axis=1)
df.where(~duplicates, np.nan).apply(lambda x: pd.Series(sorted(x, key=pd.isnull)), axis=1)
| 0 | 1 | 2 | 3 |
|:----|:----|:----|:----|
| A | B | C | D |
| A | D | C | NaN |
| C | B | NaN | NaN |
| B | A | NaN | NaN |
df = pd.DataFrame(list(map(pd.unique, df.values)))
Out[447]:
0 1 2 3
0 A B C D
1 A D C None
2 C B None None
3 B A None None
使用
applypd.dataframe.from\u dictorient='index'df_final = pd.DataFrame.from_dict(df.apply(lambda x: x.drop_duplicates().tolist(),
axis=1).to_dict(), orient='index')
Out[268]:
0 1 2 3
0 A B C D
1 A D C None
2 C B None None
3 B A None None
注：
NoneNaNNaN.fillna（np.nan）pd.Series.uniqueprint (pd.DataFrame(df.apply(pd.Series.unique, axis=1).tolist()))
0 1 2 3
0 A B C D
1 A D C None
2 C B None None
3 B A None None
我试图找到一个问题，这篇文章是重复的，但令我惊讶的是，我没有找到任何一个是一个好的适合重复。我欢迎任何关于重复项的建议。你从未定义过“重复项”的含义，特别是因为你使用的是与正常意义不同的含义（“多列中的不同值，按行考虑”），并且你的标题过于宽泛，人们会被谷歌错误地发送到这里，因此搜索。举例来说，在第1行，为什么不从列“C”中删除第二个“C”，但从列“D”中删除了第二个“D”？这毫无意义。此外，“用NaN替换单元格”并不是真正的“删除”，因此这是一个两个问题，代码解决方案将不同（
fillnaduplicateddrop\u duplicatesperfplotperfplotprint (pd.DataFrame(df.apply(pd.Series.unique, axis=1).tolist()))
0 1 2 3
0 A B C D
1 A D C None
2 C B None None
3 B A None None