从一列字符串的数据选择中过滤nan

没有使用groupby我如何过滤出数据没有NaN?

假设我有一个矩阵，其中客户将填写'N/A','n/a'或其任何变体，而其他人将其留空:

import pandas as pd
import numpy as np




df = pd.DataFrame({'movie': ['thg', 'thg', 'mol', 'mol', 'lob', 'lob'],
'rating': [3., 4., 5., np.nan, np.nan, np.nan],
'name': ['John', np.nan, 'N/A', 'Graham', np.nan, np.nan]})


nbs = df['name'].str.extract('^(N/A|NA|na|n/a)')
nms=df[(df['name'] != nbs) ]

输出:

>>> nms
movie    name  rating
0   thg    John       3
1   thg     NaN       4
3   mol  Graham     NaN
4   lob     NaN     NaN
5   lob     NaN     NaN

我如何过滤出NaN值，以便我可以得到这样的结果:

  movie    name  rating
0   thg    John       3
3   mol  Graham     NaN

我猜我需要像~np.isnan这样的东西，但tilda不能处理字符串。

598864 次浏览
小开
最佳答案

扔掉它们吧:

nms.dropna(thresh=2)

这将删除所有至少有两个非-NaN的行。

然后你可以在名字为NaN的地方删除:

In [87]:


nms
Out[87]:
movie    name  rating
0   thg    John       3
1   thg     NaN       4
3   mol  Graham     NaN
4   lob     NaN     NaN
5   lob     NaN     NaN


[5 rows x 3 columns]
In [89]:


nms = nms.dropna(thresh=2)
In [90]:


nms[nms.name.notnull()]
Out[90]:
movie    name  rating
0   thg    John       3
3   mol  Graham     NaN


[2 rows x 3 columns]

编辑

实际上，查看你最初想要的东西，你可以不调用dropna就这样做:

nms[nms.name.notnull()]

更新

3年后再看这个问题，有一个错误，首先thresh参数至少寻找n非-NaN值，所以实际上输出应该是:

In [4]:
nms.dropna(thresh=2)


Out[4]:
movie    name  rating
0   thg    John     3.0
1   thg     NaN     4.0
3   mol  Graham     NaN

有可能是我3年前弄错了，或者是我运行的熊猫版本有bug，这两种情况都是完全可能的。

小开

最简单的解决方案:

filtered_df = df[df['name'].notnull()]

因此，它只过滤掉'name'列中没有NaN值的行。

对于多个列:

filtered_df = df[df[['name', 'country', 'region']].notnull().all(1)]
小开 
df = pd.DataFrame({'movie': ['thg', 'thg', 'mol', 'mol', 'lob', 'lob'],'rating': [3., 4., 5., np.nan, np.nan, np.nan],'name': ['John','James', np.nan, np.nan, np.nan,np.nan]})


for col in df.columns:
df = df[~pd.isnull(df[col])]
小开 
df.dropna(subset=['columnName1', 'columnName2'])
小开

你也可以使用query:

out = df.query("name.notna() & name !='N/A'", engine='python')

输出:

  movie  rating    name
0   thg     3.0    John
3   mol     NaN  Graham
小开

在query()内部传递column_name == column_name以保留column_name不是NA的行。

对于你的情况:

nms.query('name == name')

提交答案