删除索引重复的熊猫行

小开

哦,我的。这其实很简单!

grouped = df3.groupby(level=0)
df4 = grouped.last()
df4
A   B  rownum


2001-01-01 00:00:00   0   0       6
2001-01-01 01:00:00   1   1       7
2001-01-01 02:00:00   2   2       8
2001-01-01 03:00:00   3   3       3
2001-01-01 04:00:00   4   4       4
2001-01-01 05:00:00   5   5       5

Follow up edit 2013-10-29 在我有一个相当复杂的MultiIndex的情况下，我想我更喜欢groupby方法。下面是一个简单的例子:

import numpy as np
import pandas


# fake index
idx = pandas.MultiIndex.from_tuples([('a', letter) for letter in list('abcde')])


# random data + naming the index levels
df1 = pandas.DataFrame(np.random.normal(size=(5,2)), index=idx, columns=['colA', 'colB'])
df1.index.names = ['iA', 'iB']


# artificially append some duplicate data
df1 = df1.append(df1.select(lambda idx: idx[1] in ['c', 'e']))
df1
#           colA      colB
#iA iB
#a  a  -1.297535  0.691787
#   b  -1.688411  0.404430
#   c   0.275806 -0.078871
#   d  -0.509815 -0.220326
#   e  -0.066680  0.607233
#   c   0.275806 -0.078871  # <--- dup 1
#   e  -0.066680  0.607233  # <--- dup 2

这是最重要的部分

# group the data, using df1.index.names tells pandas to look at the entire index
groups = df1.groupby(level=df1.index.names)
groups.last() # or .first()
#           colA      colB
#iA iB
#a  a  -1.297535  0.691787
#   b  -1.688411  0.404430
#   c   0.275806 -0.078871
#   d  -0.509815 -0.220326
#   e  -0.066680  0.607233

小开

这将把索引添加为DataFrame列，删除重复项，然后删除新列:

df = (df.reset_index()
.drop_duplicates(subset='index', keep='last')
.set_index('index').sort_index())

注意，在后面使用.sort_index()是必要的，是可选的。

小开

不幸的是，我不认为熊猫允许一个下降的指数。我建议如下:

df3 = df3.reset_index() # makes date column part of your data
df3.columns = ['timestamp','A','B','rownum'] # set names
df3 = df3.drop_duplicates('timestamp',take_last=True).set_index('timestamp') #done!

小开

最佳答案

我建议对Pandas索引本身使用复制方法:

df3 = df3[~df3.index.duplicated(keep='first')]

虽然所有其他方法都可以工作，但.drop_duplicates对于所提供的示例来说是迄今为止性能最差的。此外，虽然groupby方法的性能略差，但我发现复制的方法更具可读性。

使用提供的示例数据:

>>> %timeit df3.reset_index().drop_duplicates(subset='index', keep='first').set_index('index')
1000 loops, best of 3: 1.54 ms per loop


>>> %timeit df3.groupby(df3.index).first()
1000 loops, best of 3: 580 µs per loop


>>> %timeit df3[~df3.index.duplicated(keep='first')]
1000 loops, best of 3: 307 µs per loop

注意，可以通过将keep参数更改为'last'来保留最后一个元素。

还应该注意，此方法也适用于MultiIndex(使用保罗的例子中指定的df1):

>>> %timeit df1.groupby(level=df1.index.names).last()
1000 loops, best of 3: 771 µs per loop


>>> %timeit df1[~df1.index.duplicated(keep='last')]
1000 loops, best of 3: 365 µs per loop

小开

如果有人像我一样喜欢使用熊猫点符号(比如管道)进行可链数据操作，那么下面的代码可能会有用:

df3 = df3.query('~index.duplicated()')

这使得链接语句像这样:

df3.assign(C=2).query('~index.duplicated()').mean()

小开

删除重复的(保留优先)

idx = np.unique( df.index.values, return_index = True )[1]
df = df.iloc[idx]

删除重复文件(保留最后)

df = df[::-1]
df = df.iloc[ np.unique( df.index.values, return_index = True )[1] ]

测试:使用OP的数据进行10k循环

numpy method - 3.03 seconds
df.loc[~df.index.duplicated(keep='first')] - 4.43 seconds
df.groupby(df.index).first() - 21 seconds
reset_index() method - 29 seconds

小开

我遇到过同样的错误，在深入每个df之后，发现其中一个有2列具有相同的名称，你提到你删除了一些列，这可能是一个原因。