如何根据列值从DataFrame中选择行?

如何根据Pandas中某些列中的值从DataFrame中选择行?

在SQL,我会使用:

SELECT *FROM tableWHERE column_name = some_value
5410829 次浏览

要选择列值等于标量some_value的行,请使用==

df.loc[df['column_name'] == some_value]

要选择列值在可迭代some_values中的行,请使用isin

df.loc[df['column_name'].isin(some_values)]

将多个条件与&组合:

df.loc[(df['column_name'] >= A) & (df['column_name'] <= B)]

注意括号。由于Python的操作员优先规则&<=>=绑定得更紧。因此,最后一个例子中的括号是必要的。没有括号

df['column_name'] >= A & df['column_name'] <= B

被解析为

df['column_name'] >= (A & df['column_name']) <= B

结果是序列的真值是模棱两可的错误


要选择列值为不等于some_value的行,请使用!=

df.loc[df['column_name'] != some_value]

isin返回一个布尔级数,因此要在some_values中选择值为没有的行,请使用~对布尔级数求反:

df.loc[~df['column_name'].isin(some_values)]

例如,

import pandas as pdimport numpy as npdf = pd.DataFrame({'A': 'foo bar foo bar foo bar foo foo'.split(),'B': 'one one two three two two one three'.split(),'C': np.arange(8), 'D': np.arange(8) * 2})print(df)#      A      B  C   D# 0  foo    one  0   0# 1  bar    one  1   2# 2  foo    two  2   4# 3  bar  three  3   6# 4  foo    two  4   8# 5  bar    two  5  10# 6  foo    one  6  12# 7  foo  three  7  14
print(df.loc[df['A'] == 'foo'])

产生

     A      B  C   D0  foo    one  0   02  foo    two  2   44  foo    two  4   86  foo    one  6  127  foo  three  7  14

如果您有多个要包含的值,请将它们放入列出(或更一般地,任何可迭代的)并使用isin

print(df.loc[df['B'].isin(['one','three'])])

产生

     A      B  C   D0  foo    one  0   01  bar    one  1   23  bar  three  3   66  foo    one  6  127  foo  three  7  14

但是,请注意,如果您希望多次执行此操作,则更有效的方法是先做一个索引,然后使用df.loc

df = df.set_index(['B'])print(df.loc['one'])

产生

       A  C   DBone  foo  0   0one  bar  1   2one  foo  6  12

或者,要包含索引中的多个值,请使用df.index.isin

df.loc[df.index.isin(['one','two'])]

产生

       A  C   DBone  foo  0   0one  bar  1   2two  foo  2   4two  foo  4   8two  bar  5  10one  foo  6  12

这里有一个简单的例子

from pandas import DataFrame
# Create data setd = {'Revenue':[100,111,222],'Cost':[333,444,555]}df = DataFrame(d)

# mask = Return True when the value in column "Revenue" is equal to 111mask = df['Revenue'] == 111
print mask
# Result:# 0    False# 1     True# 2    False# Name: Revenue, dtype: bool

# Select * FROM df WHERE Revenue = 111df[mask]
# Result:#    Cost    Revenue# 1  444     111

tl; dr

熊猫相当于

select * from table where column_name = some_value

table[table.column_name == some_value]

多条件:

table[(table.column_name == some_value) | (table.column_name2 == some_value2)]

table.query('column_name == some_value | column_name2 == some_value2')

代码示例

import pandas as pd
# Create data setd = {'foo':[100, 111, 222],'bar':[333, 444, 555]}df = pd.DataFrame(d)
# Full dataframe:df
# Shows:#    bar   foo# 0  333   100# 1  444   111# 2  555   222
# Output only the row(s) in df where foo is 222:df[df.foo == 222]
# Shows:#    bar  foo# 2  555  222

在上面的代码中,行df[df.foo == 222]根据列值给出行,在本例中为222

多种条件也是可能的:

df[(df.foo == 222) | (df.bar == 444)]#    bar  foo# 1  444  111# 2  555  222

但在这一点上,我建议使用查询函数,因为它不那么冗长并且产生相同的结果:

df.query('foo == 222 | bar == 444')

我发现前面答案的语法是多余的,很难记住。Pandas在v0.13中介绍了query()方法,我非常喜欢它。对于你的问题,你可以做df.query('col == val')

转载自查询()方法(实验)

In [167]: n = 10
In [168]: df = pd.DataFrame(np.random.rand(n, 3), columns=list('abc'))
In [169]: dfOut[169]:a         b         c0  0.687704  0.582314  0.2816451  0.250846  0.610021  0.4201212  0.624328  0.401816  0.9321463  0.011763  0.022921  0.2441864  0.590198  0.325680  0.8903925  0.598892  0.296424  0.0073126  0.634625  0.803069  0.1238727  0.924168  0.325076  0.3037468  0.116822  0.364564  0.4546079  0.986142  0.751953  0.561512
# pure pythonIn [170]: df[(df.a < df.b) & (df.b < df.c)]Out[170]:a         b         c3  0.011763  0.022921  0.2441868  0.116822  0.364564  0.454607
# queryIn [171]: df.query('(a < b) & (b < c)')Out[171]:a         b         c3  0.011763  0.022921  0.2441868  0.116822  0.364564  0.454607

您还可以通过前缀@来访问环境中的变量。

exclude = ('red', 'orange')df.query('color not in @exclude')

添加:您还可以执行df.groupby('column_name').get_group('column_desired_value').reset_index()来创建具有特定值的指定列的新数据帧。例如,

import pandas as pddf = pd.DataFrame({'A': 'foo bar foo bar foo bar foo foo'.split(),'B': 'one one two three two two one three'.split()})print("Original dataframe:")print(df)
b_is_two_dataframe = pd.DataFrame(df.groupby('B').get_group('two').reset_index()).drop('index', axis = 1)#NOTE: the final drop is to remove the extra index column returned by groupby objectprint('Sub dataframe where B is two:')print(b_is_two_dataframe)

运行它可以提供:

Original dataframe:A      B0  foo    one1  bar    one2  foo    two3  bar  three4  foo    two5  bar    two6  foo    one7  foo  threeSub dataframe where B is two:A    B0  foo  two1  foo  two2  bar  two

使用numpy.where可以获得更快的结果。

例如,Unubtu的设置-

In [76]: df.iloc[np.where(df.A.values=='foo')]Out[76]:A      B  C   D0  foo    one  0   02  foo    two  2   44  foo    two  4   86  foo    one  6  127  foo  three  7  14

定时比较:

In [68]: %timeit df.iloc[np.where(df.A.values=='foo')]  # fastest1000 loops, best of 3: 380 µs per loop
In [69]: %timeit df.loc[df['A'] == 'foo']1000 loops, best of 3: 745 µs per loop
In [71]: %timeit df.loc[df['A'].isin(['foo'])]1000 loops, best of 3: 562 µs per loop
In [72]: %timeit df[df.A=='foo']1000 loops, best of 3: 796 µs per loop
In [74]: %timeit df.query('(A=="foo")')  # slowest1000 loops, best of 3: 1.71 ms per loop

有几种方法可以从Pandas数据框中选择行:

  1. 布尔索引(df[df['col'] == value])
  2. 位置索引(df.iloc[...]
  3. 标签索引(df.xs(...)
  4. df.query(...)接口

下面我向您展示每个示例,并建议何时使用某些技术。假设我们的标准是列'A'=='foo'

(关于性能的说明:对于每种基本类型,我们可以通过使用Pandas API来保持简单,或者我们可以在API之外冒险,通常进入NumPy,并加快速度。)


设置

我们需要做的第一件事是确定一个条件,该条件将作为我们选择行的标准。我们将从OP的casecolumn_name == some_value开始,并包括一些其他常见的用例。

订阅关于@unutbu的评论:

import pandas as pd, numpy as np
df = pd.DataFrame({'A': 'foo bar foo bar foo bar foo foo'.split(),'B': 'one one two three two two one three'.split(),'C': np.arange(8), 'D': np.arange(8) * 2})

1.布尔索引

…布尔索引需要找到每一行'A'列的真值等于'foo',然后使用这些真值来确定要保留哪些行。通常,我们会将这个系列命名为真值数组,mask。我们在这里也会这样做。

mask = df['A'] == 'foo'

然后我们可以使用这个掩码来切片或索引数据帧

df[mask]
A      B  C   D0  foo    one  0   02  foo    two  2   44  foo    two  4   86  foo    one  6  127  foo  three  7  14

这是完成此任务的最简单方法之一,如果性能或直观性不是问题,这应该是您选择的方法。然而,如果性能是一个问题,那么您可能需要考虑创建mask的替代方法。


2.位置索引

位置索引(df.iloc[...])有它的用例,但这不是其中之一。为了确定在哪里切片,我们首先需要执行我们上面做的相同的布尔分析。这让我们执行一个额外的步骤来完成相同的任务。

mask = df['A'] == 'foo'pos = np.flatnonzero(mask)df.iloc[pos]
A      B  C   D0  foo    one  0   02  foo    two  2   44  foo    two  4   86  foo    one  6  127  foo  three  7  14

3.标签索引

标签索引可以非常方便,但在这种情况下,我们再次做了更多的工作而没有任何好处

df.set_index('A', append=True, drop=False).xs('foo', level=1)
A      B  C   D0  foo    one  0   02  foo    two  2   44  foo    two  4   86  foo    one  6  127  foo  three  7  14

4.df.query() API

#0是执行此任务的一种非常优雅/直观的方式,但通常较慢。然而,如果你注意下面的计时,对于大数据,查询非常有效。比标准方法更高,我的最佳建议是类似的幅度。

df.query('A == "foo"')
A      B  C   D0  foo    one  0   02  foo    two  2   44  foo    two  4   86  foo    one  6  127  foo  three  7  14

我的偏好是使用Booleanmask

可以通过修改我们创建Booleanmask的方式来进行实际改进。

mask备选1使用底层NumPy数组并放弃创建另一个pd.Series的开销

mask = df['A'].values == 'foo'

我将在最后展示更完整的时间测试,但只需看看我们使用示例数据帧获得的性能提升。首先,我们看看创建mask时的差异

%timeit mask = df['A'].values == 'foo'%timeit mask = df['A'] == 'foo'
5.84 µs ± 195 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)166 µs ± 4.45 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)

使用NumPy数组评估mask的速度快约30倍。这部分是由于NumPy评估通常更快。部分原因是缺乏构建索引和相应的pd.Series对象所需的开销。

接下来,我们将看看使用一个mask与另一个进行切片的时间。

mask = df['A'].values == 'foo'%timeit df[mask]mask = df['A'] == 'foo'%timeit df[mask]
219 µs ± 12.3 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)239 µs ± 7.03 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

性能提升没有那么明显。我们将看看这是否在更强大的测试中成立。


mask备选2我们也可以重建数据帧。重建数据帧时有一个很大的警告-您必须在这样做时注意dtypes

而不是df[mask],我们将这样做

pd.DataFrame(df.values[mask], df.index[mask], df.columns).astype(df.dtypes)

如果数据帧是混合类型,我们的例子就是这样,那么当我们得到df.values时,结果数组是dtypeobject,因此,新数据帧的所有列都将是dtypeobject。因此需要astype(df.dtypes)并消除任何潜在的性能提升。

%timeit df[m]%timeit pd.DataFrame(df.values[mask], df.index[mask], df.columns).astype(df.dtypes)
216 µs ± 10.4 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)1.43 ms ± 39.6 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

但是,如果数据帧不是混合类型,这是一种非常有用的方法。

鉴于

np.random.seed([3,1415])d1 = pd.DataFrame(np.random.randint(10, size=(10, 5)), columns=list('ABCDE'))
d1
A  B  C  D  E0  0  2  7  3  81  7  0  6  8  62  0  2  0  4  93  7  3  2  4  34  3  6  7  7  45  5  3  7  5  96  8  7  6  4  77  6  2  6  6  58  2  8  7  5  89  4  7  6  1  5

%%timeitmask = d1['A'].values == 7d1[mask]
179 µs ± 8.73 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)

Versus

%%timeitmask = d1['A'].values == 7pd.DataFrame(d1.values[mask], d1.index[mask], d1.columns)
87 µs ± 5.12 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)

我们把时间缩短了一半。


mask备选方案3

@unutbu还向我们展示了如何使用pd.Series.isin来解释df['A']中的每个元素在一组值中。如果我们的一组值是一组一个值,即'foo',这的评估结果是一样的。但如果需要,它也推广到包括更大的值集。事实证明,即使这是一个更通用的解决方案,这仍然很快。唯一真正的损失是对那些不熟悉这个概念的人的直觉。

mask = df['A'].isin(['foo'])df[mask]
A      B  C   D0  foo    one  0   02  foo    two  2   44  foo    two  4   86  foo    one  6  127  foo  three  7  14

但是,和以前一样,我们可以利用NumPy来提高性能,同时几乎不牺牲任何东西。

mask = np.in1d(df['A'].values, ['foo'])df[mask]
A      B  C   D0  foo    one  0   02  foo    two  2   44  foo    two  4   86  foo    one  6  127  foo  three  7  14

定时

我将包括其他帖子中提到的其他概念,以供参考。

下面的代码

此表中的每个代表一个不同长度的数据帧,我们在其上测试每个函数。每列显示相对花费的时间,最快的函数的基索引为1.0

res.div(res.min())
10        30        100       300       1000      3000      10000     30000mask_standard         2.156872  1.850663  2.034149  2.166312  2.164541  3.090372  2.981326  3.131151mask_standard_loc     1.879035  1.782366  1.988823  2.338112  2.361391  3.036131  2.998112  2.990103mask_with_values      1.010166  1.000000  1.005113  1.026363  1.028698  1.293741  1.007824  1.016919mask_with_values_loc  1.196843  1.300228  1.000000  1.000000  1.038989  1.219233  1.037020  1.000000query                 4.997304  4.765554  5.934096  4.500559  2.997924  2.397013  1.680447  1.398190xs_label              4.124597  4.272363  5.596152  4.295331  4.676591  5.710680  6.032809  8.950255mask_with_isin        1.674055  1.679935  1.847972  1.724183  1.345111  1.405231  1.253554  1.264760mask_with_in1d        1.000000  1.083807  1.220493  1.101929  1.000000  1.000000  1.000000  1.144175

你会注意到最快的时间似乎在mask_with_valuesmask_with_in1d之间共享。

res.T.plot(loglog=True)

在此处输入图片描述

函数

def mask_standard(df):mask = df['A'] == 'foo'return df[mask]
def mask_standard_loc(df):mask = df['A'] == 'foo'return df.loc[mask]
def mask_with_values(df):mask = df['A'].values == 'foo'return df[mask]
def mask_with_values_loc(df):mask = df['A'].values == 'foo'return df.loc[mask]
def query(df):return df.query('A == "foo"')
def xs_label(df):return df.set_index('A', append=True, drop=False).xs('foo', level=-1)
def mask_with_isin(df):mask = df['A'].isin(['foo'])return df[mask]
def mask_with_in1d(df):mask = np.in1d(df['A'].values, ['foo'])return df[mask]

测试

res = pd.DataFrame(index=['mask_standard', 'mask_standard_loc', 'mask_with_values', 'mask_with_values_loc','query', 'xs_label', 'mask_with_isin', 'mask_with_in1d'],columns=[10, 30, 100, 300, 1000, 3000, 10000, 30000],dtype=float)
for j in res.columns:d = pd.concat([df] * j, ignore_index=True)for i in res.index:astmt = '{}(d)'.format(i)setp = 'from __main__ import d, {}'.format(i)res.at[i, j] = timeit(stmt, setp, number=50)

特殊计时

查看特殊情况,当我们对整个数据帧有一个非对象dtype时。

下面的代码

spec.div(spec.min())
10        30        100       300       1000      3000      10000     30000mask_with_values  1.009030  1.000000  1.194276  1.000000  1.236892  1.095343  1.000000  1.000000mask_with_in1d    1.104638  1.094524  1.156930  1.072094  1.000000  1.000000  1.040043  1.027100reconstruct       1.000000  1.142838  1.000000  1.355440  1.650270  2.222181  2.294913  3.406735

事实证明,重建不值得超过几百行。

spec.T.plot(loglog=True)

在此处输入图片描述

函数

np.random.seed([3,1415])d1 = pd.DataFrame(np.random.randint(10, size=(10, 5)), columns=list('ABCDE'))
def mask_with_values(df):mask = df['A'].values == 'foo'return df[mask]
def mask_with_in1d(df):mask = np.in1d(df['A'].values, ['foo'])return df[mask]
def reconstruct(df):v = df.valuesmask = np.in1d(df['A'].values, ['foo'])return pd.DataFrame(v[mask], df.index[mask], df.columns)
spec = pd.DataFrame(index=['mask_with_values', 'mask_with_in1d', 'reconstruct'],columns=[10, 30, 100, 300, 1000, 3000, 10000, 30000],dtype=float)

测试

for j in spec.columns:d = pd.concat([df] * j, ignore_index=True)for i in spec.index:stmt = '{}(d)'.format(i)setp = 'from __main__ import d, {}'.format(i)spec.at[i, j] = timeit(stmt, setp, number=50)

对于在Pandas中为给定值仅从多个列中选择特定列:

select col_name1, col_name2 from table where column_name = some_value.

选项#0

df.loc[df['column_name'] == some_value, [col_name1, col_name2]]

#0

df.query('column_name == some_value')[[col_name1, col_name2]]

您也可以使用. Application:

df.apply(lambda row: row[df['B'].isin(['one','three'])])

它实际上是按行工作的(即,将函数应用于每行)。

输出是

   A      B  C   D0  foo    one  0   01  bar    one  1   23  bar  three  3   66  foo    one  6  127  foo  three  7  14

结果与@unutbu提到的使用相同

df[[df['B'].isin(['one','three'])]]

使用.query与熊猫>=0.25.0更灵活:

由于pandas>=0.25.0,我们可以使用query方法过滤带有pandas方法的数据帧,甚至可以过滤带有空格的列名。通常列名中的空格会出错,但现在我们可以使用反勾号来解决这个问题 (`) - 参见github

# Example dataframedf = pd.DataFrame({'Sender email':['ex@example.com', "reply@shop.com", "buy@shop.com"]})
Sender email0  ex@example.com1  reply@shop.com2    buy@shop.com

.query与方法str.endswith一起使用:

df.query('`Sender email`.str.endswith("@shop.com")')

产出

     Sender email1  reply@shop.com2    buy@shop.com

此外,我们可以通过在查询中用@作为前缀来使用局部变量:

domain = 'shop.com'df.query('`Sender email`.str.endswith(@domain)')

产出

     Sender email1  reply@shop.com2    buy@shop.com

在较新版本的Pandas中,受留档(查看数据)的启发:

df[df["colume_name"] == some_value] #Scalar, True/False..
df[df["colume_name"] == "some_value"] #String

通过将子句放在括号中,(),并将它们与&|(和/或)组合来组合多个条件。像这样:

df[(df["colume_name"] == "some_value1") & (pd[pd["colume_name"] == "some_value2"])]

其他过滤器

pandas.notna(df["colume_name"]) == True # Not NaNdf['colume_name'].str.contains("text") # Search for "text"df['colume_name'].str.lower().str.contains("text") # Search for "text", after converting  to lowercase

如果您想重复查询数据框,并且速度对您很重要,最好的办法是将数据框转换为字典,然后通过这样做,您可以使查询速度提高数千倍。

my_df = df.set_index(column_name)my_dict = my_df.to_dict('index')

my_dict字典后,你可以通过:

if some_value in my_dict.keys():my_result = my_dict[some_value]

如果你有重复的值在column_name你不能做一个字典.但是你可以使用:

my_result = my_df.loc[some_value]

很好的答案。只是,当数据帧的大小接近百万行时,许多方法在使用df[df['col']==val]时往往需要很长时间。我想拥有所有可能的“another_column”值,这些值对应于“some_column”中的特定值(在这种情况下是在字典中)。这工作得很快。

s=datetime.datetime.now()
my_dict={}
for i, my_key in enumerate(df['some_column'].values):if i%100==0:print(i)  # to see the progressif my_key not in my_dict.keys():my_dict[my_key]={}my_dict[my_key]['values']=[df.iloc[i]['another_column']]else:my_dict[my_key]['values'].append(df.iloc[i]['another_column'])        
e=datetime.datetime.now()
print('operation took '+str(e-s)+' seconds')```

在DataFrames上SQL语句以使用DuckDB选择行

使用DuckDB,我们可以在高性能方式中使用SQL语句查询熊猫DataFrames。

由于问题是如何根据列值从DataFrame中选择行?,并且问题中的示例是SQL查询,因此此答案在本主题中看起来合乎逻辑。

示例

In [1]: import duckdb
In [2]: import pandas as pd
In [3]: con = duckdb.connect()
In [4]: df = pd.DataFrame({"A": range(11), "B": range(11, 22)})
In [5]: dfOut[5]:A   B0    0  111    1  122    2  133    3  144    4  155    5  166    6  177    7  188    8  199    9  2010  10  21
In [6]: results = con.execute("SELECT * FROM df where A > 2").df()
In [7]: resultsOut[7]:A   B0   3  141   4  152   5  163   6  174   7  185   8  196   9  207  10  21

您可以将loc(方括号)与函数一起使用:

# Seriess = pd.Series([1, 2, 3, 4])s.loc[lambda x: x > 1]# s[lambda x: x > 1]

输出:

1    22    33    4dtype: int64

# DataFramedf = pd.DataFrame({'A': [1, 2, 3], 'B': [10, 20, 30]})df.loc[lambda x: x['A'] > 1]# df[lambda x: x['A'] > 1]

输出:

   A   B1  2  202  3  30

这种方法的优点是您可以将选择与以前的操作联系起来。例如:

df.mul(2).loc[lambda x: x['A'] > 3, 'B']# (df * 2).loc[lambda x: x['A'] > 3, 'B']

vs

df_temp = df * 2df_temp.loc[df_temp['A'] > 3, 'B']

输出:

1    402    60Name: B, dtype: int64

1.安装numexpr以加快query()呼叫

当使用query()时,熊猫留档建议安装numextr以加快数字计算。使用pip install numexpr(或condasudo等,取决于您的环境)安装它。

对于较大的数据帧(性能实际上很重要),df.query()numexpr引擎的执行速度比df[mask]快得多。特别是,它在以下情况下表现更好。

字符串列上的逻辑和/或比较运算符

如果将一列字符串与其他字符串进行比较并选择匹配的行,即使对于单个比较操作,query()的执行速度也比df[mask]快。例如,对于具有80k行的数据帧,它比1快30%,对于具有800k行的数据帧,它快60%。2

df[df.A == 'foo']df.query("A == 'foo'")  # <--- performs 30%-60% faster

这个差距随着操作数量的增加而增加(如果4个比较被链接df.query()df[mask]快2-2.3倍)1,2和/或数据帧长度增加。

数字列上的多个操作

如果需要计算多个算术、逻辑或比较操作来创建一个布尔掩码来过滤dfquery()执行得更快。例如,对于80k行的帧,1快20%,对于800k行的帧,它快2倍。2

df[(df.B % 5) **2 < 0.1]df.query("(B % 5) **2 < 0.1")  # <--- performs 20%-100% faster.

这种性能差距随着操作数量的增加和/或数据帧长度的增加而增加。2

下图显示了当数据框长度增加时方法的执行情况。3

完成情节

2.访问.values调用query()里面的熊猫方法

Numexpr&6只有逻辑(&|~)、比较(==><>=<=!=)和基本算术运算符(&0、&1、&2、&3、&4、&5)。

例如,它不支持整数除法(//)。但是,调用等效的熊猫方法(floordiv())并访问结果Series上的values属性使numexpr评估其底层numpy数组,query()有效。或将engine参数设置为'python'也有效。

df.query('B.floordiv(2).values <= 3')  # ordf.query('B.floordiv(2).le(3).values') # ordf.query('B.floordiv(2).le(3)', engine='python')

这同样适用于二凡建议的方法调用。他们回答中的代码对numexpr引擎吐出了TypeError(从Pandas 1.3.4开始),但访问.values属性使其正常工作。

df.query('`Sender email`.str.endswith("@shop.com")')         # <--- TypeErrordf.query('`Sender email`.str.endswith("@shop.com").values')  # OK


1:基准代码使用80k行的框架

import numpy as npdf = pd.DataFrame({'A': 'foo bar foo baz foo bar foo foo'.split()*10000,'B': np.random.rand(80000)})
%timeit df[df.A == 'foo']# 8.5 ms ± 104.5 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)%timeit df.query("A == 'foo'")# 6.36 ms ± 95.7 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)
%timeit df[((df.A == 'foo') & (df.A != 'bar')) | ((df.A != 'baz') & (df.A != 'buz'))]# 29 ms ± 554 µs per loop (mean ± std. dev. of 10 runs, 100 loops each)%timeit df.query("A == 'foo' & A != 'bar' | A != 'baz' & A != 'buz'")# 16 ms ± 339 µs per loop (mean ± std. dev. of 10 runs, 100 loops each)
%timeit df[(df.B % 5) **2 < 0.1]# 5.35 ms ± 37.6 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)%timeit df.query("(B % 5) **2 < 0.1")# 4.37 ms ± 46.3 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

2:基准代码使用800k行的框架

df = pd.DataFrame({'A': 'foo bar foo baz foo bar foo foo'.split()*100000,'B': np.random.rand(800000)})
%timeit df[df.A == 'foo']# 87.9 ms ± 873 µs per loop (mean ± std. dev. of 10 runs, 100 loops each)%timeit df.query("A == 'foo'")# 54.4 ms ± 726 µs per loop (mean ± std. dev. of 10 runs, 100 loops each)
%timeit df[((df.A == 'foo') & (df.A != 'bar')) | ((df.A != 'baz') & (df.A != 'buz'))]# 310 ms ± 3.4 ms per loop (mean ± std. dev. of 10 runs, 100 loops each)%timeit df.query("A == 'foo' & A != 'bar' | A != 'baz' & A != 'buz'")# 132 ms ± 2.43 ms per loop (mean ± std. dev. of 10 runs, 100 loops each)
%timeit df[(df.B % 5) **2 < 0.1]# 54 ms ± 488 µs per loop (mean ± std. dev. of 10 runs, 100 loops each)%timeit df.query("(B % 5) **2 < 0.1")# 26.3 ms ± 320 µs per loop (mean ± std. dev. of 10 runs, 100 loops each)

3:用于生成字符串和数字的两种方法的性能图的代码。

from perfplot import plotconstructor = lambda n: pd.DataFrame({'A': 'foo bar foo baz foo bar foo foo'.split()*n, 'B': np.random.rand(8*n)})plot(setup=constructor,kernels=[lambda df: df[(df.B%5)**2<0.1], lambda df: df.query("(B%5)**2<0.1")],labels= ['df[(df.B % 5) **2 < 0.1]', 'df.query("(B % 5) **2 < 0.1")'],n_range=[2**k for k in range(4, 24)],xlabel='Rows in DataFrame',title='Multiple mathematical operations on numbers',equality_check=pd.DataFrame.equals);plot(setup=constructor,kernels=[lambda df: df[df.A == 'foo'], lambda df: df.query("A == 'foo'")],labels= ["df[df.A == 'foo']", """df.query("A == 'foo'")"""],n_range=[2**k for k in range(4, 24)],xlabel='Rows in DataFrame',title='Comparison operation on strings',equality_check=pd.DataFrame.equals);