' ValueError:不能从重复的轴重新索引'是什么意思?

当我试图将索引设置为某个值时，我得到了ValueError: cannot reindex from a duplicate axis。我试图用一个简单的例子重现这一点，但我做不到。

下面是我在ipdb跟踪中的会话。我有一个DataFrame字符串索引，和整数列，浮动值。然而，当我尝试为所有列的总和创建sum索引时，我得到了ValueError: cannot reindex from a duplicate axis错误。我创建了一个具有相同特征的小数据框架，但无法重现问题，我可能会错过什么?

我真的不明白__abc0是什么意思，这个错误信息是什么意思?也许这将帮助我诊断问题，这是我问题中最有答案的部分。

ipdb> type(affinity_matrix)
<class 'pandas.core.frame.DataFrame'>
ipdb> affinity_matrix.shape
(333, 10)
ipdb> affinity_matrix.columns
Int64Index([9315684, 9315597, 9316591, 9320520, 9321163, 9320615, 9321187, 9319487, 9319467, 9320484], dtype='int64')
ipdb> affinity_matrix.index
Index([u'001', u'002', u'003', u'004', u'005', u'008', u'009', u'010', u'011', u'014', u'015', u'016', u'018', u'020', u'021', u'022', u'024', u'025', u'026', u'027', u'028', u'029', u'030', u'032', u'033', u'034', u'035', u'036', u'039', u'040', u'041', u'042', u'043', u'044', u'045', u'047', u'047', u'048', u'050', u'053', u'054', u'055', u'056', u'057', u'058', u'059', u'060', u'061', u'062', u'063', u'065', u'067', u'068', u'069', u'070', u'071', u'072', u'073', u'074', u'075', u'076', u'077', u'078', u'080', u'082', u'083', u'084', u'085', u'086', u'089', u'090', u'091', u'092', u'093', u'094', u'095', u'096', u'097', u'098', u'100', u'101', u'103', u'104', u'105', u'106', u'107', u'108', u'109', u'110', u'111', u'112', u'113', u'114', u'115', u'116', u'117', u'118', u'119', u'121', u'122', ...], dtype='object')


ipdb> affinity_matrix.values.dtype
dtype('float64')
ipdb> 'sums' in affinity_matrix.index
False

错误如下:

ipdb> affinity_matrix.loc['sums'] = affinity_matrix.sum(axis=0)
*** ValueError: cannot reindex from a duplicate axis

我试图用一个简单的例子重现这一点，但我失败了

In [32]: import pandas as pd


In [33]: import numpy as np


In [34]: a = np.arange(35).reshape(5,7)


In [35]: df = pd.DataFrame(a, ['x', 'y', 'u', 'z', 'w'], range(10, 17))


In [36]: df.values.dtype
Out[36]: dtype('int64')


In [37]: df.loc['sums'] = df.sum(axis=0)


In [38]: df
Out[38]:
10  11  12  13  14  15   16
x      0   1   2   3   4   5    6
y      7   8   9  10  11  12   13
u     14  15  16  17  18  19   20
z     21  22  23  24  25  26   27
w     28  29  30  31  32  33   34
sums  70  75  80  85  90  95  100
651264 次浏览
小开
最佳答案

此错误通常在索引具有重复值时连接/赋值给列时出现。由于你正在给一行赋值，我怀疑affinity_matrix.columns中有一个重复的值，可能在你的问题中没有显示出来。

小开

正如其他人所说，您可能在原始索引中有重复的值。要找到他们，可以这样做:

df[df.index.duplicated()]

小开

如果您通过连接其他数据帧来创建一个数据帧，则经常会出现具有重复值的索引。如果你不关心保存索引的值，并且你希望它们是唯一的值，当你连接数据时，设置ignore_index=True。

或者，要用一个新索引覆盖当前索引，而不是使用df.reindex()，设置:

df.index = new_index
小开

今天当我想添加这样的新列时，我遇到了这个错误

df_temp['REMARK_TYPE'] = df.REMARK.apply(lambda v: 1 if str(v)!='nan' else 0)

我想处理df_temp的REMARK列以返回1或0。但是我用df输入了错误的变量。然后返回如下错误:

----> 1 df_temp['REMARK_TYPE'] = df.REMARK.apply(lambda v: 1 if str(v)!='nan' else 0)


/usr/lib64/python2.7/site-packages/pandas/core/frame.pyc in __setitem__(self, key, value)
2417         else:
2418             # set column
-> 2419             self._set_item(key, value)
2420
2421     def _setitem_slice(self, key, value):


/usr/lib64/python2.7/site-packages/pandas/core/frame.pyc in _set_item(self, key, value)
2483
2484         self._ensure_valid_index(value)
-> 2485         value = self._sanitize_column(key, value)
2486         NDFrame._set_item(self, key, value)
2487


/usr/lib64/python2.7/site-packages/pandas/core/frame.pyc in _sanitize_column(self, key, value, broadcast)
2633
2634         if isinstance(value, Series):
-> 2635             value = reindexer(value)
2636
2637         elif isinstance(value, DataFrame):


/usr/lib64/python2.7/site-packages/pandas/core/frame.pyc in reindexer(value)
2625                     # duplicate axis
2626                     if not value.index.is_unique:
-> 2627                         raise e
2628
2629                     # other


ValueError: cannot reindex from a duplicate axis

正如您所看到的，正确的代码应该是

df_temp['REMARK_TYPE'] = df_temp.REMARK.apply(lambda v: 1 if str(v)!='nan' else 0)

因为df和df_temp有不同的行数。所以它返回ValueError: cannot reindex from a duplicate axis。

希望你能理解，我的回答可以帮助其他人调试他们的代码。

小开

在我的例子中，出现这个错误不是因为重复的值，而是因为我试图将一个更短的Series连接到一个Dataframe:两者具有相同的索引，但Series的行更少(缺少前几行)。以下方法对我来说是有效的:

df.head()
SensA
date
2018-04-03 13:54:47.274   -0.45
2018-04-03 13:55:46.484   -0.42
2018-04-03 13:56:56.235   -0.37
2018-04-03 13:57:57.207   -0.34
2018-04-03 13:59:34.636   -0.33


series.head()
date
2018-04-03 14:09:36.577    62.2
2018-04-03 14:10:28.138    63.5
2018-04-03 14:11:27.400    63.1
2018-04-03 14:12:39.623    62.6
2018-04-03 14:13:27.310    62.5
Name: SensA_rrT, dtype: float64


df = series.to_frame().combine_first(df)


df.head(10)
SensA  SensA_rrT
date
2018-04-03 13:54:47.274   -0.45        NaN
2018-04-03 13:55:46.484   -0.42        NaN
2018-04-03 13:56:56.235   -0.37        NaN
2018-04-03 13:57:57.207   -0.34        NaN
2018-04-03 13:59:34.636   -0.33        NaN
2018-04-03 14:00:34.565   -0.33        NaN
2018-04-03 14:01:19.994   -0.37        NaN
2018-04-03 14:02:29.636   -0.34        NaN
2018-04-03 14:03:31.599   -0.32        NaN
2018-04-03 14:04:30.779   -0.33        NaN
2018-04-03 14:05:31.733   -0.35        NaN
2018-04-03 14:06:33.290   -0.38        NaN
2018-04-03 14:07:37.459   -0.39        NaN
2018-04-03 14:08:36.361   -0.36        NaN
2018-04-03 14:09:36.577   -0.37       62.2
小开

在最后使用.values简单地跳过错误。

affinity_matrix.loc['sums'] = affinity_matrix.sum(axis=0).values
小开

对于仍在为这个错误苦苦挣扎的人来说，如果您不小心创建了具有相同名称的重复列，也会发生这种情况。像这样删除重复的列:

df = df.loc[:,~df.columns.duplicated()]
小开
我在同一个问题上浪费了几个小时。在我的例子中，在使用apply函数之前，我必须reset_index ()一个数据帧。 在合并或从另一个索引数据集查找之前，您需要重置索引，因为一个数据集只能有1个索引
小开

简单的修理

在分组之前运行

df = df.reset_index()

感谢这是github的评论的解决方案。

小开

当我尝试从不同的表中添加一列时，我得到了这个错误。事实上，一路上我得到了重复的索引值。但事实证明我只是做错了:我实际上需要df.join另一个表。

这个指针可以帮助处于类似情况的人。

小开

这也可能是这个原因[:)我是这样解决我的问题的]

即使你试图在dataframe中插入一个dataframe类型的列，也可能会发生这种情况

你可以试试这个

df['my_new']=pd.Series(my_new.values)
小开

如果你得到这个错误后合并两个数据帧和删除后缀add尝试写入excel 你的问题是你没有合并的列对两个源dataframe都是通用的。Pandas需要一种方法来说明哪个来自哪里，所以它添加了后缀，默认是'_x'在左边，'_y'在右边

如果你有一个首选项来保持列从哪个源数据帧，那么你可以设置后缀和过滤相应的，例如，如果你想保持从左边的冲突列:

# Label the two sides, with no suffix on the side you want to keep
df = pd.merge(
df,
tempdf[what_i_care_about],
on=['myid', 'myorder'],
how='outer',
suffixes=('', '_delete_suffix')  # Left gets no suffix, right gets something identifiable
)
# Discard the columns that acquired a suffix
df = df[[c for c in df.columns if not c.endswith('_delete_suffix')]]

或者，您可以在合并之前删除每个冲突列中的一个，这样Pandas就不需要分配后缀了。

小开

只需将.to_numpy()添加到要连接的系列的末尾。

小开

在我的例子中，这是由尺寸不匹配引起的:

在mul操作期间不小心使用了来自不同df的列

小开

当我把2个数据帧追加到另一个(df3 = df1.append(df2))时，发生在我身上，所以输出是:

df1
A   B
0   1   a
1   2   b
2   3   c


df2
A   B
0   4   d
1   5   e
2   6   f


df3
A   B
0   1   a
1   2   b
2   3   c
0   4   d
1   5   e
2   6   f

确定索引的最简单方法是使用"df。reset_index (= bool下降,原地= bool)“;方法,正如康纳所说……你也可以设置'drop'参数真正的来避免将索引列表创建为列，并设置'inplace' 真正的来永久重置索引。

下面是官方引用:https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.reset_index.html

此外，你还可以使用"set_index(键=列表,原地= bool)“;方法，像这样:

new_index_list = list(range(0, len(df3)))
df3['new_index'] = new_index_list
df3.set_index(keys='new_index', inplace=True)

官方参考:https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.set_index.html

小开

确保你的索引没有任何重复，我只是做了df.reset_index(drop=True, inplace=True)，我再也没有得到错误了!但你可能想保留索引，在这种情况下，drop设为False

小开

df = df.reset_index(drop=True)对我有用


提交答案