如何在熊猫中获取数据帧的列切片

我从CSV文件中加载了一些机器学习数据。前两列是观察结果,其余列是特征。

目前,我做以下事情:

data = pandas.read_csv('mydata.csv')

它会给出如下内容:

data = pandas.DataFrame(np.random.rand(10,5), columns = list('abcde'))

我想把这个数据帧切成两个数据帧:一个包含列ab,另一个包含列cde

不可能写出这样的东西

observations = data[:'c']
features = data['c':]

我不确定最好的方法是什么。我需要pd.Panel吗?

顺便说一下,我发现数据帧索引非常不一致:data['a']是允许的,但data[0]是不允许的。另一方面,data['a':]是不允许的,但data[0:]是允许的。 这有什么实际的原因吗?如果列以Int为索引,这确实令人困惑,假设data[0] != data[0:1]

637023 次浏览

你可以通过引用列表中每一列的名称来切片DataFrame的列,如下所示:

data = pandas.DataFrame(np.random.rand(10,5), columns = list('abcde'))
data_ab = data[list('ab')]
data_cde = data[list('cde')]

注意: .ix自Pandas v0.20以来已弃用。相反,您应该酌情使用.loc.iloc

DataFrame。Ix index是你想要访问的。这有点令人困惑(我同意Pandas索引有时是令人困惑的!),但以下似乎是你想要的:

>>> df = DataFrame(np.random.rand(4,5), columns = list('abcde'))
>>> df.ix[:,'b':]
b         c         d         e
0  0.418762  0.042369  0.869203  0.972314
1  0.991058  0.510228  0.594784  0.534366
2  0.407472  0.259811  0.396664  0.894202
3  0.726168  0.139531  0.324932  0.906575

其中.ix[行切片,列切片]是正在解释的内容。关于Pandas索引的更多信息:http://pandas.pydata.org/pandas-docs/stable/indexing.html#indexing-advanced

同样,给定一个数据帧

数据

就像在你的例子中,如果你只想提取列a和d(即第1列和第4列),那么熊猫数据框架中的iloc方法就是你所需要的,并且可以非常有效地使用。您所需要知道的只是想要提取的列的索引。例如:

>>> data.iloc[:,[0,3]]

会给你

          a         d
0  0.883283  0.100975
1  0.614313  0.221731
2  0.438963  0.224361
3  0.466078  0.703347
4  0.955285  0.114033
5  0.268443  0.416996
6  0.613241  0.327548
7  0.370784  0.359159
8  0.692708  0.659410
9  0.806624  0.875476

如果你来这里寻找两个范围的列切片并将它们组合在一起(像我一样),你可以做这样的事情

op = df[list(df.columns[0:899]) + list(df.columns[3593:])]
print op

这将创建一个具有前900列和(所有)列> 3593的新数据框架(假设您的数据集中有4000列)。

让我们以来自海运包的titanic数据集为例

# Load dataset (pip install seaborn)
>> import seaborn.apionly as sns
>> titanic = sns.load_dataset('titanic')

使用列名

>> titanic.loc[:,['sex','age','fare']]

使用列索引

>> titanic.iloc[:,[2,3,6]]

使用ix(比熊猫更古老的<20版本)

>> titanic.ix[:,[‘sex’,’age’,’fare’]]

>> titanic.ix[:,[2,3,6]]

使用重索引方法

>> titanic.reindex(columns=['sex','age','fare'])

下面是如何使用不同的方法来进行选择性列切片,包括基于选择标签的列切片、基于选择索引的列切片和基于选择范围的列切片。

In [37]: import pandas as pd
In [38]: import numpy as np
In [43]: df = pd.DataFrame(np.random.rand(4,7), columns = list('abcdefg'))


In [44]: df
Out[44]:
a         b         c         d         e         f         g
0  0.409038  0.745497  0.890767  0.945890  0.014655  0.458070  0.786633
1  0.570642  0.181552  0.794599  0.036340  0.907011  0.655237  0.735268
2  0.568440  0.501638  0.186635  0.441445  0.703312  0.187447  0.604305
3  0.679125  0.642817  0.697628  0.391686  0.698381  0.936899  0.101806


In [45]: df.loc[:, ["a", "b", "c"]] ## label based selective column slicing
Out[45]:
a         b         c
0  0.409038  0.745497  0.890767
1  0.570642  0.181552  0.794599
2  0.568440  0.501638  0.186635
3  0.679125  0.642817  0.697628


In [46]: df.loc[:, "a":"c"] ## label based column ranges slicing
Out[46]:
a         b         c
0  0.409038  0.745497  0.890767
1  0.570642  0.181552  0.794599
2  0.568440  0.501638  0.186635
3  0.679125  0.642817  0.697628


In [47]: df.iloc[:, 0:3] ## index based column ranges slicing
Out[47]:
a         b         c
0  0.409038  0.745497  0.890767
1  0.570642  0.181552  0.794599
2  0.568440  0.501638  0.186635
3  0.679125  0.642817  0.697628


### with 2 different column ranges, index based slicing:
In [49]: df[df.columns[0:1].tolist() + df.columns[1:3].tolist()]
Out[49]:
a         b         c
0  0.409038  0.745497  0.890767
1  0.570642  0.181552  0.794599
2  0.568440  0.501638  0.186635
3  0.679125  0.642817  0.697628

2017答案- pandas 0.20: .ix已弃用。使用.loc

参见文档中的弃用

.loc使用基于标签的索引来选择行和列。标签是索引或列的值。使用.loc进行切片包括最后一个元素。

让我们假设我们有一个具有以下列的DataFrame foobar quzant cat, sat dat。< / p >
# selects all rows and all columns beginning at 'foo' up to and including 'sat'
df.loc[:, 'foo':'sat']
# foo bar quz ant cat sat

.loc接受与Python列表对行和列所做的相同的切片符号。切片符号为start:stop:step

# slice from 'foo' to 'cat' by every 2nd column
df.loc[:, 'foo':'cat':2]
# foo quz cat


# slice from the beginning to 'bar'
df.loc[:, :'bar']
# foo bar


# slice from 'quz' to the end by 3
df.loc[:, 'quz'::3]
# quz sat


# attempt from 'sat' to 'bar'
df.loc[:, 'sat':'bar']
# no columns returned


# slice from 'sat' to 'bar'
df.loc[:, 'sat':'bar':-1]
sat cat ant quz bar


# slice notation is syntatic sugar for the slice function
# slice from 'quz' to the end by 2 with slice function
df.loc[:, slice('quz',None, 2)]
# quz cat dat


# select specific columns with a list
# select columns foo, bar and dat
df.loc[:, ['foo','bar','dat']]
# foo bar dat

您可以按行和列进行切片。例如,如果你有5行,标签分别是vwxyz

# slice from 'w' to 'y' and 'foo' to 'ant' by 3
df.loc['w':'y', 'foo':'ant':3]
#    foo ant
# w
# x
# y

其等效

 >>> print(df2.loc[140:160,['Relevance','Title']])
>>> print(df2.ix[140:160,[3,7]])

if数据帧是这样的:

group         name      count
fruit         apple     90
fruit         banana    150
fruit         orange    130
vegetable     broccoli  80
vegetable     kale      70
vegetable     lettuce   125

OUTPUT可以是

   group    name  count
0  fruit   apple     90
1  fruit  banana    150
2  fruit  orange    130

如果使用逻辑运算符np.logical_not

df[np.logical_not(df['group'] == 'vegetable')]

更多关于

https://docs.scipy.org/doc/numpy-1.13.0/reference/routines.logic.html

其他逻辑运算符

  1. logical_and(x1, x2, /[, out, where,…])计算的真值 x1和x2元素。李< / p > < / >

  2. logical_or(x1, x2, /[, out, where, casting, [/p>

  3. .])计算x1或x2元素的真值
  4. logical_not(x, /[, out, where, casting,…])计算真值 NOT x元素的值。李< / >
  5. logical_xor(x1, x2, /[, out, where, ..])按元素计算x1 XOR x2的真值。
另一种从你的DataFrame中获取列子集的方法是:
data[['a','b']]data[['c','d','e']]
如果你想使用数值列索引,你可以这样做:
data[data.columns[:2]]data[data.columns[2:]]

你可以使用truncate方法

df = pd.DataFrame(np.random.rand(10, 5), columns = list('abcde'))


df_ab = df.truncate(before='a', after='b', axis=1)
df_cde = df.truncate(before='c', axis=1)