从熊猫中选择复杂的标准。DataFrame

例如，我有简单的DF:

import pandas as pd
from random import randint


df = pd.DataFrame({'A': [randint(1, 9) for x in range(10)],
'B': [randint(1, 9)*10 for x in range(10)],
'C': [randint(1, 9)*100 for x in range(10)]})

我可以使用Pandas的方法和习语，从“A”中选择对应的“B”大于50，而“C”不等于900的值吗?

857368 次浏览
小开
最佳答案

当然!设置:

>>> import pandas as pd
>>> from random import randint
>>> df = pd.DataFrame({'A': [randint(1, 9) for x in range(10)],
'B': [randint(1, 9)*10 for x in range(10)],
'C': [randint(1, 9)*100 for x in range(10)]})
>>> df
A   B    C
0  9  40  300
1  9  70  700
2  5  70  900
3  8  80  900
4  7  50  200
5  9  30  900
6  2  80  700
7  2  80  400
8  5  80  300
9  7  70  800

我们可以应用列操作并获得布尔系列对象:

>>> df["B"] > 50
0    False
1     True
2     True
3     True
4    False
5    False
6     True
7     True
8     True
9     True
Name: B
>>> (df["B"] > 50) & (df["C"] == 900)
0    False
1    False
2     True
3     True
4    False
5    False
6    False
7    False
8    False
9    False

[更新，切换到新样式.loc]:

然后我们可以用这些索引到对象中。对于读访问，你可以链索引:

>>> df["A"][(df["B"] > 50) & (df["C"] == 900)]
2    5
3    8
Name: A, dtype: int64

但由于视图和副本之间的差异，您可能会陷入麻烦，因为这样做是为了写访问。你可以使用.loc代替:

>>> df.loc[(df["B"] > 50) & (df["C"] == 900), "A"]
2    5
3    8
Name: A, dtype: int64
>>> df.loc[(df["B"] > 50) & (df["C"] == 900), "A"].values
array([5, 8], dtype=int64)
>>> df.loc[(df["B"] > 50) & (df["C"] == 900), "A"] *= 1000
>>> df
A   B    C
0     9  40  300
1     9  70  700
2  5000  70  900
3  8000  80  900
4     7  50  200
5     9  30  900
6     2  80  700
7     2  80  400
8     5  80  300
9     7  70  800

注意，我不小心输入了== 900而不是!= 900或~(df["C"] == 900)，但我懒得修复它。为读者做练习。: ^)

小开

另一个解决方案是使用查询方法:

import pandas as pd


from random import randint
df = pd.DataFrame({'A': [randint(1, 9) for x in xrange(10)],
'B': [randint(1, 9) * 10 for x in xrange(10)],
'C': [randint(1, 9) * 100 for x in xrange(10)]})
print df


A   B    C
0  7  20  300
1  7  80  700
2  4  90  100
3  4  30  900
4  7  80  200
5  7  60  800
6  3  80  900
7  9  40  100
8  6  40  100
9  3  10  600


print df.query('B > 50 and C != 900')


A   B    C
1  7  80  700
2  4  90  100
4  7  80  200
5  7  60  800

现在如果你想改变A列的返回值，你可以保存它们的索引:

my_query_index = df.query('B > 50 & C != 900').index

．...并使用.iloc来更改它们，即:

df.iloc[my_query_index, 0] = 5000


print df


A   B    C
0     7  20  300
1  5000  80  700
2  5000  90  100
3     4  30  900
4  5000  80  200
5  5000  60  800
6     3  80  900
7     9  40  100
8     6  40  100
9     3  10  600
小开

你可以使用熊猫，它有一些内置的功能进行比较。所以如果你想选择“;A"满足“;B"条件;和“;C"(假设你想要返回一个DataFrame熊猫对象)

df[['A']][df.B.gt(50) & df.C.ne(900)]

df[['A']]将返回DataFrame格式的A列。

pandas gt函数将返回列B大于50的位置，而ne函数将返回不等于900的位置。

小开

记住要用括号!

请记住，&操作符优先于>或<等操作符。这就是为什么

4 < 5 & 6 > 4

求值为False。因此，如果你使用pd.loc，你需要在逻辑语句周围加上括号，否则你会得到一个错误。这就是为什么:

df.loc[(df['A'] > 10) & (df['B'] < 15)]

而不是

df.loc[df['A'] > 10 & df['B'] < 15]

这就会导致

无法将dtyped [float64]数组与类型为[bool]的标量进行比较

小开

将每个条件赋值给一个变量可能更具可读性，特别是当它们有很多(可能有描述性的名称)并使用(&或|)等位操作符将它们链接在一起时。作为奖励，你不需要担心括号()，因为每个条件都是独立计算的。

m1 = df['B'] > 50
m2 = df['C'] != 900
m3 = df['C'].pow(2) > 1000
m4 = df['B'].mul(4).between(50, 500)


# filter rows where all of the conditions are True
df[m1 & m2 & m3 & m4]


# filter rows of column A where all of the conditions are True
df.loc[m1 & m2 & m3 & m4, 'A']

或者将条件放在一个列表中，并通过bitwise_and从numpy (&的包装器)减少它。

conditions = [
df['B'] > 50,
df['C'] != 900,
df['C'].pow(2) > 1000,
df['B'].mul(4).between(50, 500)
]
# filter rows of A where all of conditions are True
df.loc[np.bitwise_and.reduce(conditions), 'A']

提交答案