pandas:使用操作符链过滤数据帧的行

pandas中的大多数操作都可以通过操作符链接(groupby， aggregate， apply等)来完成，但我发现过滤行的唯一方法是通过普通的括号索引

df_filtered = df[df['column'] == value]

这是没有吸引力的，因为它要求我将df赋值给一个变量，然后才能过滤它的值。还有像下面这样的吗?

df_filtered = df.mask(lambda x: x['column'] == value)
754363 次浏览
小开
最佳答案

我不完全确定你想要什么，你的最后一行代码也没有帮助，但无论如何:

“链式”过滤是通过将布尔索引中的条件“链式”进行的。

In [96]: df
Out[96]:
A  B  C  D
a  1  4  9  1
b  4  5  0  2
c  5  5  1  0
d  1  3  9  6


In [99]: df[(df.A == 1) & (df.D == 6)]
Out[99]:
A  B  C  D
d  1  3  9  6

如果你想要链接方法，你可以添加你自己的掩码方法并使用它。

In [90]: def mask(df, key, value):
....:     return df[df[key] == value]
....:


In [92]: pandas.DataFrame.mask = mask


In [93]: df = pandas.DataFrame(np.random.randint(0, 10, (4,4)), index=list('abcd'), columns=list('ABCD'))


In [95]: df.ix['d','A'] = df.ix['a', 'A']


In [96]: df
Out[96]:
A  B  C  D
a  1  4  9  1
b  4  5  0  2
c  5  5  1  0
d  1  3  9  6


In [97]: df.mask('A', 1)
Out[97]:
A  B  C  D
a  1  4  9  1
d  1  3  9  6


In [98]: df.mask('A', 1).mask('D', 6)
Out[98]:
A  B  C  D
d  1  3  9  6
小开

来自@lodagro的答案很棒。我将通过泛化掩码函数来扩展它:

def mask(df, f):
return df[f(df)]

然后你可以这样做:

df.mask(lambda x: x[0] < 0).mask(lambda x: x[1] > 0)
小开

如果你想应用所有常见的布尔掩码以及一个通用的掩码，你可以在一个文件中输入以下内容，然后简单地将它们分配如下:

pd.DataFrame = apply_masks()

用法:

A = pd.DataFrame(np.random.randn(4, 4), columns=["A", "B", "C", "D"])
A.le_mask("A", 0.7).ge_mask("B", 0.2)... (May be repeated as necessary
这有点粗糙，但如果你根据过滤器不断地切割和改变数据集，它可以让事情变得更干净。 在gen_mask函数中还有一个通用的过滤器，你可以将其与lambda函数一起使用，如果需要的话

要保存的文件(我使用mask .py):

import pandas as pd


def eq_mask(df, key, value):
return df[df[key] == value]


def ge_mask(df, key, value):
return df[df[key] >= value]


def gt_mask(df, key, value):
return df[df[key] > value]


def le_mask(df, key, value):
return df[df[key] <= value]


def lt_mask(df, key, value):
return df[df[key] < value]


def ne_mask(df, key, value):
return df[df[key] != value]


def gen_mask(df, f):
return df[f(df)]


def apply_masks():


pd.DataFrame.eq_mask = eq_mask
pd.DataFrame.ge_mask = ge_mask
pd.DataFrame.gt_mask = gt_mask
pd.DataFrame.le_mask = le_mask
pd.DataFrame.lt_mask = lt_mask
pd.DataFrame.ne_mask = ne_mask
pd.DataFrame.gen_mask = gen_mask


return pd.DataFrame


if __name__ == '__main__':
pass
小开

过滤器可以使用Pandas 查询链接:

df = pd.DataFrame(np.random.randn(30, 3), columns=['a','b','c'])
df_filtered = df.query('a > 0').query('0 < b < 2')

过滤器也可以在单个查询中组合:

df_filtered = df.query('a > 0 and 0 < b < 2')
小开

我也有同样的问题，只是我想把这些标准组合成一个OR条件。Wouter Overmeire给出的格式将两个标准组合成一个AND条件，使得两个条件都必须满足:

In [96]: df
Out[96]:
A  B  C  D
a  1  4  9  1
b  4  5  0  2
c  5  5  1  0
d  1  3  9  6


In [99]: df[(df.A == 1) & (df.D == 6)]
Out[99]:
A  B  C  D
d  1  3  9  6

但我发现，如果你将每个条件包装在(... == True)中，并将标准与管道连接，这些标准将在OR条件中组合，只要其中任何一个为真，就满足:

df[((df.A==1) == True) | ((df.D==6) == True)]
小开

我的答案和其他人的相似。如果您不想创建一个新函数，您可以使用pandas已经为您定义的函数。使用管道法。

df.pipe(lambda d: d[d['column'] == value])
小开

我提供了更多的例子。这是与https://stackoverflow.com/a/28159296/相同的答案

我将添加其他编辑，使这篇文章更有用。

< p > < >强pandas.DataFrame.query < / >强 < br > query正是为了这个目的而创建的。考虑数据帧df

import pandas as pd
import numpy as np


np.random.seed([3,1415])
df = pd.DataFrame(
np.random.randint(10, size=(10, 5)),
columns=list('ABCDE')
)


df


A  B  C  D  E
0  0  2  7  3  8
1  7  0  6  8  6
2  0  2  0  4  9
3  7  3  2  4  3
4  3  6  7  7  4
5  5  3  7  5  9
6  8  7  6  4  7
7  6  2  6  6  5
8  2  8  7  5  8
9  4  7  6  1  5

让我们使用query来过滤所有D > B

df.query('D > B')


A  B  C  D  E
0  0  2  7  3  8
1  7  0  6  8  6
2  0  2  0  4  9
3  7  3  2  4  3
4  3  6  7  7  4
5  5  3  7  5  9
7  6  2  6  6  5

我们把它串起来

df.query('D > B').query('C > B')
# equivalent to
# df.query('D > B and C > B')
# but defeats the purpose of demonstrating chaining


A  B  C  D  E
0  0  2  7  3  8
1  7  0  6  8  6
4  3  6  7  7  4
5  5  3  7  5  9
7  6  2  6  6  5
小开

如果你将列设置为索引搜索，那么你可以使用DataFrame.xs()来获取横截面。这并不像query回答的那样通用，但在某些情况下可能有用。

import pandas as pd
import numpy as np


np.random.seed([3,1415])
df = pd.DataFrame(
np.random.randint(3, size=(10, 5)),
columns=list('ABCDE')
)


df
# Out[55]:
#    A  B  C  D  E
# 0  0  2  2  2  2
# 1  1  1  2  0  2
# 2  0  2  0  0  2
# 3  0  2  2  0  1
# 4  0  1  1  2  0
# 5  0  0  0  1  2
# 6  1  0  1  1  1
# 7  0  0  2  0  2
# 8  2  2  2  2  2
# 9  1  2  0  2  1


df.set_index(['A', 'D']).xs([0, 2]).reset_index()
# Out[57]:
#    A  D  B  C  E
# 0  0  2  2  2  2
# 1  0  2  1  1  0
小开

由于版本0.18.1， .loc方法接受一个可调用对象进行选择。与lambda函数一起，你可以创建非常灵活的可链过滤器:

import numpy as np
import pandas as pd


df = pd.DataFrame(np.random.randint(0,100,size=(100, 4)), columns=list('ABCD'))
df.loc[lambda df: df.A == 80]  # equivalent to df[df.A == 80] but chainable


df.sort_values('A').loc[lambda df: df.A > 80].loc[lambda df: df.B > df.A]

如果你所做的只是过滤，你也可以省略.loc。

小开

这个解决方案在实现方面比较粗糙，但我发现它在使用方面更简洁，而且肯定比其他提出的解决方案更通用。

https://github.com/toobaz/generic_utils/blob/master/generic_utils/pandas/where.py

你不需要下载整个回购:保存文件和做

from where import where as W

应该足够了。然后你可以这样使用它:

df = pd.DataFrame([[1, 2, True],
[3, 4, False],
[5, 7, True]],
index=range(3), columns=['a', 'b', 'c'])
# On specific column:
print(df.loc[W['a'] > 2])
print(df.loc[-W['a'] == W['b']])
print(df.loc[~W['c']])
# On entire - or subset of a - DataFrame:
print(df.loc[W.sum(axis=1) > 3])
print(df.loc[W[['a', 'b']].diff(axis=1)['b'] > 1])

一个稍微不那么愚蠢的用法示例:

data = pd.read_csv('ugly_db.csv').loc[~(W == '$null$').any(axis=1)]

顺便说一下，即使在使用布尔cols的情况下，

df.loc[W['cond1']].loc[W['cond2']]

能比吗

df.loc[W['cond1'] & W['cond2']]

因为它只在cond1为True的地方计算cond2。

免责声明:我首先给出这个答案在其他地方，因为我没有看到这个。

小开

你也可以利用numpy库进行逻辑操作。它相当快。

df[np.logical_and(df['A'] == 1 ,df['B'] == 6)]
小开

只是想添加一个演示，使用loc不仅按行过滤，还按列过滤，以及链式操作的一些优点。

下面的代码可以按值筛选行。

df_filtered = df.loc[df['column'] == value]

通过稍微修改它，您还可以过滤列。

df_filtered = df.loc[df['column'] == value, ['year', 'column']]

为什么我们需要链式方法呢?答案是，如果您有很多操作，那么读取它就很简单。例如,

res =  df\
.loc[df['station']=='USA', ['TEMP', 'RF']]\
.groupby('year')\
.agg(np.nanmean)
小开

pandas为Wouter Overmeire的答案提供了两种不需要重写的选择。一个是带有可调用对象的.loc[.]，如

df_filtered = df.loc[lambda x: x['column'] == value]

另一个是.pipe()，如在

df_filtered = df.pipe(lambda x: x.loc[x['column'] == value])
小开

这是没有吸引力的，因为它要求我将df赋值给一个变量，然后才能过滤它的值。

df[df["column_name"] != 5].groupby("other_column_name")

似乎可以工作:你也可以嵌套[]操作符。也许是因为你问了这个问题。

小开

所以我的看法是，在对数据进行细分以备分析时，你要做两件事。

  • 就行
  • 获得列

Pandas有很多方法来实现这些，还有一些技术可以帮助获取行而且列。对于熊猫的新用户来说，选择太多了，可能会感到困惑。

你使用iloc, loc，括号，查询，isin, np。在哪里，面具等等…

方法链接

方法链接是处理数据争执的好方法。在R中有一个简单的方法，你select()列和filter()行。

因此，如果我们想在Pandas中保持简单，为什么不将filter()用于列，将query()用于行呢?这两个函数都返回数据框架，因此不需要在布尔索引上添乱，也不需要在返回值周围添加df[ ]。

那它看起来像什么呢? -

df.filter(['col1', 'col2', 'col3']).query("col1 == 'sometext'")

然后你可以链接到任何其他方法，如groupby， dropna()， sort_values()， reset_index()等。

通过保持一致并使用filter()来获取列，使用query()来获取行，当一段时间后返回时，将更容易阅读您的代码。

但是过滤器可以选择行吗?

是的，这是真的，但默认情况下，query()获取行，filter()获取列。因此，如果你坚持使用默认值，就不需要使用axis=参数。

查询()

query()可以与and/or &/|一起使用，也可以使用比较运算符> , < , >= , <=, ==, !=。你也可以使用Python in，而不是in。

您可以使用@my_list将一个列表传递给查询

一些使用查询获取行的示例

df.query('A > B')


df.query('a not in b')


df.query("series == '2206'")


df.query("col1 == @mylist")


df.query('Salary_in_1000 >= 100 & Age < 60 & FT_Team.str.startswith("S").values')

filter ()

所以filter基本上就像使用括号df[]或df[[]]一样，它使用标签来选择列。但它不仅仅是括号符号。

filter有like=参数，以帮助选择有部分名称的列。

df.filter(like='partial_name',)

过滤器也有正则表达式来帮助选择

df.filter(regex='reg_string')

综上所述，这种工作方式可能并不适用于任何情况，例如，如果你想使用索引/切片，那么iloc是正确的选择。但这似乎是一种可靠的工作方式，可以简化您的工作流程和代码。


提交答案