如果列中的值在一组值列表中,则过滤数据帧行

我有一个Python熊猫数据框架rpt:

rpt
<class 'pandas.core.frame.DataFrame'>
MultiIndex: 47518 entries, ('000002', '20120331') to ('603366', '20091231')
Data columns:
STK_ID                    47518  non-null values
STK_Name                  47518  non-null values
RPT_Date                  47518  non-null values
sales                     47518  non-null values

我可以像这样过滤股票id为'600809'的行:rpt[rpt['STK_ID'] == '600809']

<class 'pandas.core.frame.DataFrame'>
MultiIndex: 25 entries, ('600809', '20120331') to ('600809', '20060331')
Data columns:
STK_ID                    25  non-null values
STK_Name                  25  non-null values
RPT_Date                  25  non-null values
sales                     25  non-null values

我想把一些股票的所有行放在一起,比如['600809','600141','600329']。这意味着我想要一个这样的语法:

stk_list = ['600809','600141','600329']


rst = rpt[rpt['STK_ID'] in stk_list] # this does not works in pandas

既然熊猫不接受上述命令,如何实现目标呢?

491529 次浏览

使用isin方法:

# EYZ0

你还可以使用以下命令来使用range:

b = df[(df['a'] > 1) & (df['a'] < 5)]

如果您有一个完全匹配的列表,isin()是理想的,但如果您有一个部分匹配或子字符串列表要查找,您可以使用str.contains方法和正则表达式进行筛选。

例如,如果我们想返回一个DataFrame,其中所有的股票id都以'600'开头,然后后跟任何三位数字:

>>> rpt[rpt['STK_ID'].str.contains(r'^600[0-9]{3}$')] # ^ means start of string
...   STK_ID   ...                                    # [0-9]{3} means any three digits
...  '600809'  ...                                    # $ means end of string
...  '600141'  ...
...  '600329'  ...
...      ...   ...

假设现在我们有一个字符串列表,我们希望'STK_ID'中的值以这些字符串结尾,例如:

endstrings = ['01$', '02$', '05$']

我们可以使用正则表达式'或'字符|来连接这些字符串,并将字符串传递给str.contains来过滤DataFrame:

>>> rpt[rpt['STK_ID'].str.contains('|'.join(endstrings)]
...   STK_ID   ...
...  '155905'  ...
...  '633101'  ...
...  '210302'  ...
...      ...   ...

最后,contains可以忽略大小写(通过设置case=False),允许您在指定想要匹配的字符串时更加通用。

例如,

str.contains('pandas', case=False)

将匹配PANDASPanDAspaNdAs123,等等。

你也可以直接查询你的DataFrame来获取这个信息。

rpt.query('STK_ID in (600809,600141,600329)')

或者类似地搜索范围:

rpt.query('60000 < STK_ID < 70000')

您可以使用query,即:

b = df.query('a > 1 & a < 5')

使用pandas进行数据切片

给定一个这样的数据框架:

    RPT_Date  STK_ID STK_Name  sales
0 1980-01-01       0   Arthur      0
1 1980-01-02       1    Beate      4
2 1980-01-03       2    Cecil      2
3 1980-01-04       3     Dana      8
4 1980-01-05       4     Eric      4
5 1980-01-06       5    Fidel      5
6 1980-01-07       6   George      4
7 1980-01-08       7     Hans      7
8 1980-01-09       8   Ingrid      7
9 1980-01-10       9    Jones      4

有多种选择或切片数据的方法。

使用.isin

最明显的是.isin特性。你可以创建一个蒙版,给你一系列的True/False语句,可以像这样应用到一个数据框架:

mask = df['STK_ID'].isin([4, 2, 6])


mask
0    False
1    False
2     True
3    False
4     True
5    False
6     True
7    False
8    False
9    False
Name: STK_ID, dtype: bool


df[mask]
RPT_Date  STK_ID STK_Name  sales
2 1980-01-03       2    Cecil      2
4 1980-01-05       4     Eric      4
6 1980-01-07       6   George      4

屏蔽是这个问题的临时解决方案,但在速度和内存方面并不总是表现良好。

与索引

通过将索引设置为STK_ID列,我们可以使用pandas内置切片对象.loc

df.set_index('STK_ID', inplace=True)
RPT_Date STK_Name  sales
STK_ID
0      1980-01-01   Arthur      0
1      1980-01-02    Beate      4
2      1980-01-03    Cecil      2
3      1980-01-04     Dana      8
4      1980-01-05     Eric      4
5      1980-01-06    Fidel      5
6      1980-01-07   George      4
7      1980-01-08     Hans      7
8      1980-01-09   Ingrid      7
9      1980-01-10    Jones      4


df.loc[[4, 2, 6]]
RPT_Date STK_Name  sales
STK_ID
4      1980-01-05     Eric      4
2      1980-01-03    Cecil      2
6      1980-01-07   George      4

这是一种快速的方法,即使索引需要一点时间,但如果你想做多次这样的查询,它可以节省时间。

合并dataframes

这也可以通过合并数据框架来实现。这将更适合具有比这些示例中更多数据的场景。

stkid_df = pd.DataFrame({"STK_ID": [4,2,6]})
df.merge(stkid_df, on='STK_ID')
STK_ID   RPT_Date STK_Name  sales
0       2 1980-01-03    Cecil      2
1       4 1980-01-05     Eric      4
2       6 1980-01-07   George      4

请注意

即使有多行具有相同的'STK_ID',上述所有方法也都有效

你也可以使用'query'和@来达到类似的效果:

例如:

df = pd.DataFrame({'A': [1, 2, 3], 'B': ['a', 'b', 'f']})
df = pd.DataFrame({'A' : [5,6,3,4], 'B' : [1,2,3, 5]})
list_of_values = [3,6]
result= df.query("A in @list_of_values")
result
A  B
1  6  2
2  3  3