将空白值(空格)替换为pandas中的NaN

我想找到所有的值在熊猫数据帧包含空白(任何任意数量)，并将这些值替换为nan。

有什么想法可以改进吗?

基本上我想把这个

                   A    B    C
2000-01-01 -0.532681  foo    0
2000-01-02  1.490752  bar    1
2000-01-03 -1.387326  foo    2
2000-01-04  0.814772  baz
2000-01-05 -0.222552         4
2000-01-06 -1.176781  qux

到这个:

                   A     B     C
2000-01-01 -0.532681   foo     0
2000-01-02  1.490752   bar     1
2000-01-03 -1.387326   foo     2
2000-01-04  0.814772   baz   NaN
2000-01-05 -0.222552   NaN     4
2000-01-06 -1.176781   qux   NaN

我已经设法用下面的代码做到这一点，但男人是丑陋的。它不是Pythonic的，而且我确信它也不是最有效的使用pandas的方法。我循环遍历每一列，并对通过应用一个函数生成的列掩码进行布尔替换，该函数对每个值进行正则表达式搜索，匹配空格。

for i in df.columns:
df[i][df[i].apply(lambda i: True if re.search('^\s*$', str(i)) else False)]=None

它可以通过只遍历可能包含空字符串的字段来进行优化:

if df[i].dtype == np.dtype('object')

但这并没有太大的改善

最后，这段代码将目标字符串设置为None，这适用于Pandas的函数，如fillna()，但如果我可以实际直接插入NaN而不是None，则会更好。

456987 次浏览
小开

如何:

d = d.applymap(lambda x: np.nan if isinstance(x, basestring) and x.isspace() else x)

applymap函数的作用是:对数据帧的每个单元格应用一个函数。

小开
最佳答案

我认为df.replace()可以完成这项工作，因为熊猫0.13:

df = pd.DataFrame([
[-0.532681, 'foo', 0],
[1.490752, 'bar', 1],
[-1.387326, 'foo', 2],
[0.814772, 'baz', ' '],
[-0.222552, '   ', 4],
[-1.176781,  'qux', '  '],
], columns='A B C'.split(), index=pd.date_range('2000-01-01','2000-01-06'))


# replace field that's entirely space (or empty) with NaN
print(df.replace(r'^\s*$', np.nan, regex=True))

生产:

                   A    B   C
2000-01-01 -0.532681  foo   0
2000-01-02  1.490752  bar   1
2000-01-03 -1.387326  foo   2
2000-01-04  0.814772  baz NaN
2000-01-05 -0.222552  NaN   4
2000-01-06 -1.176781  qux NaN

正如Temak指出的那样，使用df.replace(r'^\s+$', np.nan, regex=True)以防有效数据包含空白。

小开

我是这样做的:

df = df.apply(lambda x: x.str.strip()).replace('', np.nan)

或

df = df.apply(lambda x: x.str.strip() if isinstance(x, str) else x).replace('', np.nan)

你可以剥离所有str，然后用np.nan替换空str。

小开

对于一个非常快速和简单的解决方案，您可以使用mask方法来检查单个值是否相等。

df.mask(df == ' ')
小开

如果你想用空格替换空字符串和记录，正确答案是!：

df = df.replace(r'^\s*$', np.nan, regex=True)

公认的答案

df.replace(r'\s+', np.nan, regex=True)

不替换空字符串!，你可以用稍微更新了一下的例子自己试试:

df = pd.DataFrame([
[-0.532681, 'foo', 0],
[1.490752, 'bar', 1],
[-1.387326, 'fo o', 2],
[0.814772, 'baz', ' '],
[-0.222552, '   ', 4],
[-1.176781,  'qux', ''],
], columns='A B C'.split(), index=pd.date_range('2000-01-01','2000-01-06'))

注意，'fo o'不会被Nan取代，尽管它包含一个空格。 进一步注意，这是一个简单的:

df.replace(r'', np.NaN)

也不行，试试吧。

小开

如果你从CSV文件中导出数据，它可以像这样简单:

df = pd.read_csv(file_csv, na_values=' ')

这将创建数据帧，并将空白值替换为Na

小开

你也可以用滤镜来做。

df = PD.DataFrame([
[-0.532681, 'foo', 0],
[1.490752, 'bar', 1],
[-1.387326, 'foo', 2],
[0.814772, 'baz', ' '],
[-0.222552, '   ', 4],
[-1.176781,  'qux', '  '])
df[df=='']='nan'
df=df.astype(float)
小开

最简单的解决方案:

df = df.replace(r'^\s+$', np.nan, regex=True)
小开 
print(df.isnull().sum()) # check numbers of null value in each column


modifiedDf=df.fillna("NaN") # Replace empty/null values with "NaN"


# modifiedDf = fd.dropna() # Remove rows with empty values


print(modifiedDf.isnull().sum()) # check numbers of null value in each column
小开

这不是一个优雅的解决方案，但似乎有效的方法是保存到XLSX，然后再将其导入。本页上的其他解决方案对我来说并不奏效，不知道为什么。

data.to_excel(filepath, index=False)
data = pd.read_excel(filepath)
小开

这些都接近正确答案，但我不会说任何方法都能解决问题，同时让其他人在阅读您的代码时最容易读懂。我会说答案是BrenBarn的回答和tuomasttik在回答下面的注释的组合。BrenBarn的答案利用isspace内置，但不支持删除空字符串，因为OP请求，我倾向于将其属性为替换null字符串的标准用例。

我用.apply重写了它，所以你可以在pd.Series或pd.DataFrame上调用它。

Python 3: < em > < / em >

替换全为空格的空字符串或字符串:

df = df.apply(lambda x: np.nan if isinstance(x, str) and (x.isspace() or not x) else x)

替换全空格字符串:

df = df.apply(lambda x: np.nan if isinstance(x, str) and x.isspace() else x)

要在Python 2中使用它，你需要用basestring替换str。

Python 2: < em > < / em >

替换全为空格的空字符串或字符串:

df = df.apply(lambda x: np.nan if isinstance(x, basestring) and (x.isspace() or not x) else x)

替换全空格字符串:

df = df.apply(lambda x: np.nan if isinstance(x, basestring) and x.isspace() else x)
小开
这对我很管用。 当我导入我的csv文件，我添加了na_values = ' '。默认NaN值中不包含空格 
df= pd.read_csv(filepath,na_values = ' ')
小开

这应该可以

df.loc[df.Variable == '', 'Variable'] = 'Value'

或

df.loc[df.Variable1 == '', 'Variable2'] = 'Value'

提交答案