从 pandas DataFrame 中删除名称包含特定字符串的列

我有一个具有以下列名的 pandas dataframe:

Result1, Test1, Result2, Test2, Result3, Test3等…

我想删除所有名称包含单词“Test”的列。这些列的数量不是静态的,而是取决于前面的函数。

我该怎么做呢?

217467 次浏览
import pandas as pd


import numpy as np


array=np.random.random((2,4))


df=pd.DataFrame(array, columns=('Test1', 'toto', 'test2', 'riri'))


print df


Test1      toto     test2      riri
0  0.923249  0.572528  0.845464  0.144891
1  0.020438  0.332540  0.144455  0.741412


cols = [c for c in df.columns if c.lower()[:4] != 'test']


df=df[cols]


print df
toto      riri
0  0.572528  0.144891
1  0.332540  0.741412

使用DataFrame.select方法:

In [38]: df = DataFrame({'Test1': randn(10), 'Test2': randn(10), 'awesome': randn(10)})


In [39]: df.select(lambda x: not re.search('Test\d+', x), axis=1)
Out[39]:
awesome
0    1.215
1    1.247
2    0.142
3    0.169
4    0.137
5   -0.971
6    0.736
7    0.214
8    0.111
9   -0.214

你可以使用'filter'过滤掉你想要的列

import pandas as pd
import numpy as np


data2 = [{'test2': 1, 'result1': 2}, {'test': 5, 'result34': 10, 'c': 20}]


df = pd.DataFrame(data2)


df


c   result1     result34    test    test2
0   NaN     2.0     NaN     NaN     1.0
1   20.0    NaN     10.0    5.0     NaN

现在过滤器

df.filter(like='result',axis=1)

得到. .

   result1  result34
0   2.0     NaN
1   NaN     10.0

这里有一种方法:

df = df[df.columns.drop(list(df.filter(regex='Test')))]

这可以在一行中完成:

df = df.drop(df.filter(regex='Test').columns, axis=1)

更便宜,更快,习惯用法:str.contains

在最近版本的pandas中,可以在索引和列上使用字符串方法。在这里,str.startswith似乎很适合。

删除以给定子字符串开头的所有列:

df.columns.str.startswith('Test')
# array([ True, False, False, False])


df.loc[:,~df.columns.str.startswith('Test')]


toto test2 riri
0    x     x    x
1    x     x    x

对于不区分大小写的匹配,你可以使用带有SOL锚的基于正则表达式的str.contains匹配:

df.columns.str.contains('^test', case=False)
# array([ True, False,  True, False])


df.loc[:,~df.columns.str.contains('^test', case=False)]


toto riri
0    x    x
1    x    x

如果mixed-types是可能的,也指定na=False

该方法在适当的位置执行所有操作。许多其他答案会复制,效率不高:

df.drop(df.columns[df.columns.str.contains('Test')], axis=1, inplace=True)

使用正则表达式匹配所有不包含不需要的单词的列:

df = df.filter(regex='^((?!badword).)*$')

最简单的方法是:

resdf = df.filter(like='Test',axis=1)

删除包含正则表达式的列名列表时的解决方案。我更喜欢这种方法,因为我经常编辑下拉列表。为下拉列表使用负筛选器正则表达式。

drop_column_names = ['A','B.+','C.*']
drop_columns_regex = '^(?!(?:'+'|'.join(drop_column_names)+')$)'
print('Dropping columns:',', '.join([c for c in df.columns if re.search(drop_columns_regex,c)]))
df = df.filter(regex=drop_columns_regex,axis=1)

问题表示“我想删除名称中包含单词“test”的所有列。”

test_columns = [col for col in df if 'Test' in col]
df.drop(columns=test_columns, inplace=True)