我如何在python中使用熊猫获得所有重复项的列表?

小开

最佳答案

方法#1:打印所有ID是重复ID之一的行:

>>> import pandas as pd
>>> df = pd.read_csv("dup.csv")
>>> ids = df["ID"]
>>> df[ids.isin(ids[ids.duplicated()])].sort_values("ID")
ID ENROLLMENT_DATE        TRAINER_MANAGING        TRAINER_OPERATOR FIRST_VISIT_DATE
24  11795       27-Feb-12      0643D38-Hanover NH      0643D38-Hanover NH        19-Jun-12
6   11795        3-Jul-12  0649597-White River VT  0649597-White River VT        30-Mar-12
18   8096       19-Dec-11  0649597-White River VT  0649597-White River VT         9-Apr-12
2    8096        8-Aug-12      0643D38-Hanover NH      0643D38-Hanover NH        25-Jun-12
12   A036       30-Nov-11     063B208-Randolph VT     063B208-Randolph VT              NaN
3    A036        1-Apr-12      06CB8CF-Hanover NH      06CB8CF-Hanover NH         9-Aug-12
26   A036       11-Aug-12      06D3206-Hanover NH                     NaN        19-Jun-12

但是我想不出一个很好的方法来防止重复ids这么多次。我更喜欢方法#2:ID上的groupby。

>>> pd.concat(g for _, g in df.groupby("ID") if len(g) > 1)
ID ENROLLMENT_DATE        TRAINER_MANAGING        TRAINER_OPERATOR FIRST_VISIT_DATE
6   11795        3-Jul-12  0649597-White River VT  0649597-White River VT        30-Mar-12
24  11795       27-Feb-12      0643D38-Hanover NH      0643D38-Hanover NH        19-Jun-12
2    8096        8-Aug-12      0643D38-Hanover NH      0643D38-Hanover NH        25-Jun-12
18   8096       19-Dec-11  0649597-White River VT  0649597-White River VT         9-Apr-12
3    A036        1-Apr-12      06CB8CF-Hanover NH      06CB8CF-Hanover NH         9-Aug-12
12   A036       30-Nov-11     063B208-Randolph VT     063B208-Randolph VT              NaN
26   A036       11-Aug-12      06D3206-Hanover NH                     NaN        19-Jun-12

小开

使用元素逻辑或并将pandas duplicate方法的take_last参数设置为True和False，您可以从您的数据帧中获得一个包含所有副本的集合。

df_bigdata_duplicates =
df_bigdata[df_bigdata.duplicated(cols='ID', take_last=False) |
df_bigdata.duplicated(cols='ID', take_last=True)
]

小开

在Pandas 0.17版本中，你可以在复制函数中设置'keep = False'来获取所有重复的项。

In [1]: import pandas as pd


In [2]: df = pd.DataFrame(['a','b','c','d','a','b'])


In [3]: df
Out[3]:
0
0  a
1  b
2  c
3  d
4  a
5  b


In [4]: df[df.duplicated(keep=False)]
Out[4]:
0
0  a
1  b
4  a
5  b

小开

df[df.duplicated(['ID'], keep=False)]

它会把所有复制的行返回给你。

根据文档:

keep: {' first '， ' last '， False}，默认' first '

'first':除第一次出现外，标记重复为True。

'last':除最后一次出现外，标记重复为True。

False:将所有副本标记为True。

小开

df[df['ID'].duplicated() == True]

这对我很有效

小开

这可能不是问题的解决方案，但可以举例说明:

import pandas as pd


df = pd.DataFrame({
'A': [1,1,3,4],
'B': [2,2,5,6],
'C': [3,4,7,6],
})


print(df)
df.duplicated(keep=False)
df.duplicated(['A','B'], keep=False)

输出:

   A  B  C
0  1  2  3
1  1  2  4
2  3  5  7
3  4  6  6


0    False
1    False
2    False
3    False
dtype: bool


0     True
1     True
2    False
3    False
dtype: bool

小开

由于我无法评论，因此发表了一个单独的答案

如果要在多个列的基础上找到重复项，请提到每个列名如下所示，它将返回所有重复的行集:

df[df[['product_uid', 'product_title', 'user']].duplicated() == True]

另外,

df[df[['product_uid', 'product_title', 'user']].duplicated()]

小开

你可以用:

df[df.duplicated(['ID'])==True].sort_values('ID')

复制的行及其所有列值的索引loc#

def dup_rows_index(df):
dup = df[df.duplicated()]
print('Duplicated index loc:',dup[dup == True ].index.tolist())
return dup

小开

sort("ID")现在似乎不能工作，根据类医生似乎已弃用，因此使用sort_values("ID")来代替重复过滤器排序，如下所示:

df[df.ID.duplicated(keep=False)].sort_values("ID")

小开

对于我的数据库.duplicated(keep=False)没有工作，直到列被排序。

data.sort_values(by=['Order ID'], inplace=True)
df = data[data['Order ID'].duplicated(keep=False)]

小开

受上述解决方案的启发，您可以进一步排序值，以便您可以查看重复排序的记录:

df[df.duplicated(['ID'], keep=False)].sort_values(by='ID')

小开

这段代码提供给你一个数据帧，指示一行在数据帧中是否有重复:

df2 = df1.duplicated()

这段代码消除了重复，只保留了一个实例:

df3 = df1.drop_duplicates(keep="first")

df3将是由唯一项(行)组成的数据帧。