Python从字符串列的数据选择中过滤出nan
如果不使用Python从字符串列的数据选择中过滤出nan,python,pandas,dataframe,Python,Pandas,Dataframe,如果不使用groupby我如何在没有NaN的情况下过滤数据 假设我有一个矩阵,客户将填写'N/a'、'N/a'或其任何变体,其他人则将其留空: import pandas as pd import numpy as np df = pd.DataFrame({'movie': ['thg', 'thg', 'mol', 'mol', 'lob', 'lob'], 'rating': [3., 4., 5., np.nan, np.nan, np.nan],
groupby
我如何在没有NaN
的情况下过滤数据
假设我有一个矩阵,客户将填写'N/a'、'N/a'
或其任何变体,其他人则将其留空:
import pandas as pd
import numpy as np
df = pd.DataFrame({'movie': ['thg', 'thg', 'mol', 'mol', 'lob', 'lob'],
'rating': [3., 4., 5., np.nan, np.nan, np.nan],
'name': ['John', np.nan, 'N/A', 'Graham', np.nan, np.nan]})
nbs = df['name'].str.extract('^(N/A|NA|na|n/a)')
nms=df[(df['name'] != nbs) ]
输出:
>>> nms
movie name rating
0 thg John 3
1 thg NaN 4
3 mol Graham NaN
4 lob NaN NaN
5 lob NaN NaN
我如何筛选出NaN
值,以便获得如下结果:
movie name rating
0 thg John 3
3 mol Graham NaN
我想我需要像~np.isnan
这样的东西,但是tilda不能处理字符串。只要放下它们:
nms.dropna(thresh=2)
这将删除至少有两个非NaN
的所有行
然后,您可以在名称为NaN
的地方删除:
In [87]:
nms
Out[87]:
movie name rating
0 thg John 3
1 thg NaN 4
3 mol Graham NaN
4 lob NaN NaN
5 lob NaN NaN
[5 rows x 3 columns]
In [89]:
nms = nms.dropna(thresh=2)
In [90]:
nms[nms.name.notnull()]
Out[90]:
movie name rating
0 thg John 3
3 mol Graham NaN
[2 rows x 3 columns]
编辑
实际上,看看您最初想要的是什么,您就可以这样做,而无需调用dropna
:
nms[nms.name.notnull()]
更新
3年后再看这个问题,有一个错误,首先arg查找至少n
非NaN
值,因此实际上输出应该是:
In [4]:
nms.dropna(thresh=2)
Out[4]:
movie name rating
0 thg John 3.0
1 thg NaN 4.0
3 mol Graham NaN
可能是3年前我弄错了,或者我运行的pandas版本有错误,这两种情况都是完全可能的。最简单的解决方案:
filtered_df = df[df['name'].notnull()]
因此,它只过滤掉“name”列中没有NaN值的行
对于多列:
filtered_df = df[df[['name', 'country', 'region']].notnull().all(1)]
df = pd.DataFrame({'movie': ['thg', 'thg', 'mol', 'mol', 'lob', 'lob'],'rating': [3., 4., 5., np.nan, np.nan, np.nan],'name': ['John','James', np.nan, np.nan, np.nan,np.nan]})
for col in df.columns:
df = df[~pd.isnull(df[col])]
df.dropna(subset=['columnName1', 'columnName2'])