删除 pandas dataframe 中带有所有零的行

我可以使用 pandas dropna()功能删除一些或所有设置为 NA的列的行。是否有一个等效的函数用于删除所有列值为0的行？

P   kt  b   tt  mky depth
1   0   0   0   0   0
2   0   0   0   0   0
3   0   0   0   0   0
4   0   0   0   0   0
5   1.1 3   4.5 2.3 9.0

在本例中，我们希望从数据框架中删除前4行。

谢谢！

377485 次浏览
小开

您可以使用一个快速的 lambda函数来检查给定行中的所有值是否都是 0。然后，您可以使用应用该 lambda的结果作为一种方法，只选择与该条件匹配或不匹配的行:

import pandas as pd
import numpy as np


np.random.seed(0)


df = pd.DataFrame(np.random.randn(5,3),
index=['one', 'two', 'three', 'four', 'five'],
columns=list('abc'))


df.loc[['one', 'three']] = 0


print df
print df.loc[~df.apply(lambda row: (row==0).all(), axis=1)]

收益率:

              a         b         c
one    0.000000  0.000000  0.000000
two    2.240893  1.867558 -0.977278
three  0.000000  0.000000  0.000000
four   0.410599  0.144044  1.454274
five   0.761038  0.121675  0.443863


[5 rows x 3 columns]
a         b         c
two   2.240893  1.867558 -0.977278
four  0.410599  0.144044  1.454274
five  0.761038  0.121675  0.443863


[3 rows x 3 columns]
小开
最佳答案

事实证明，这可以很好地用矢量化的方式表示:

> df = pd.DataFrame({'a':[0,0,1,1], 'b':[0,1,0,1]})
> df = df[(df.T != 0).any()]
> df
a  b
1  0  1
2  1  0
3  1  1
小开 
import pandas as pd


df = pd.DataFrame({'a' : [0,0,1], 'b' : [0,0,-1]})


temp = df.abs().sum(axis=1) == 0
df = df.drop(temp)

结果:

>>> df
a  b
2  1 -1
小开

一行程序，不需要转换:

df.loc[~(df==0).all(axis=1)]

对于那些喜欢对称性的人来说，这也有用..。

df.loc[(df!=0).any(axis=1)]
小开

将零替换为 nan，然后删除所有条目为 nan的行。 然后用零替换 nan。

import numpy as np
df = df.replace(0, np.nan)
df = df.dropna(how='all', axis=0)
df = df.replace(np.nan, 0)
小开

我大约每个月查一次这个问题，总是要从评论中找出最好的答案:

df.loc[(df!=0).any(1)]

谢谢 Dan Allan！

小开

我发现有几个解决方案在查找这个问题时很有帮助，特别是对于较大的数据集:

df[(df.sum(axis=1) != 0)]       # 30% faster
df[df.values.sum(axis=1) != 0]  # 3X faster

继续@U2EF1的例子:

In [88]: df = pd.DataFrame({'a':[0,0,1,1], 'b':[0,1,0,1]})


In [91]: %timeit df[(df.T != 0).any()]
1000 loops, best of 3: 686 µs per loop


In [92]: df[(df.sum(axis=1) != 0)]
Out[92]:
a  b
1  0  1
2  1  0
3  1  1


In [95]: %timeit df[(df.sum(axis=1) != 0)]
1000 loops, best of 3: 495 µs per loop


In [96]: %timeit df[df.values.sum(axis=1) != 0]
1000 loops, best of 3: 217 µs per loop

在一个更大的数据集上:

In [119]: bdf = pd.DataFrame(np.random.randint(0,2,size=(10000,4)))


In [120]: %timeit bdf[(bdf.T != 0).any()]
1000 loops, best of 3: 1.63 ms per loop


In [121]: %timeit bdf[(bdf.sum(axis=1) != 0)]
1000 loops, best of 3: 1.09 ms per loop


In [122]: %timeit bdf[bdf.values.sum(axis=1) != 0]
1000 loops, best of 3: 517 µs per loop
小开

另一种选择:

# Is there anything in this row non-zero?
# df != 0 --> which entries are non-zero? T/F
# (df != 0).any(axis=1) --> are there 'any' entries non-zero row-wise? T/F of rows that return true to this statement.
# df.loc[all_zero_mask,:] --> mask your rows to only show the rows which contained a non-zero entry.
# df.shape to confirm a subset.


all_zero_mask=(df != 0).any(axis=1) # Is there anything in this row non-zero?
df.loc[all_zero_mask,:].shape
小开 
df = df [~( df [ ['kt'  'b'   'tt'  'mky' 'depth', ] ] == 0).all(axis=1) ]

试试这个命令，它完全工作。

小开

我认为这个解决方案是最短的:

df= df[df['ColName'] != 0]
小开

删除任何行中值为0的所有列:

new_df = df[df.loc[:]!=0].dropna()
小开

对我来说这个代码: df.loc[(df!=0).any(axis=0)] 没有工作。它返回了确切的数据集。

相反，我使用了 df.loc[:, (df!=0).any(axis=0)]并删除了数据集中所有值为0的列

函数 .all()删除了数据集中的所有零值列。

小开

这对我有用 new_df = df[df.loc[:]!=0].dropna()

小开

按照 接受的答案中的例子，一个更优雅的解决方案是:

df = pd.DataFrame({'a':[0,0,1,1], 'b':[0,1,0,1]})
df = df[df.any(axis=1)]
print(df)


a  b
1  0  1
2  1  0
3  1  1

提交答案