熊猫唯一值多列

df = pd.DataFrame({'Col1': ['Bob', 'Joe', 'Bill', 'Mary', 'Joe'],
'Col2': ['Joe', 'Steve', 'Bob', 'Bob', 'Steve'],
'Col3': np.random.random(5)})

返回‘ Col1’和‘ Col2’的唯一值的最佳方法是什么？

所需的输出为

'Bob', 'Joe', 'Bill', 'Mary', 'Steve'
362309 次浏览
小开

非 pandas解决方案: 使用 set ()。

import pandas as pd
import numpy as np


df = pd.DataFrame({'Col1' : ['Bob', 'Joe', 'Bill', 'Mary', 'Joe'],
'Col2' : ['Joe', 'Steve', 'Bob', 'Bob', 'Steve'],
'Col3' : np.random.random(5)})


print df


print set(df.Col1.append(df.Col2).values)

产出:

   Col1   Col2      Col3
0   Bob    Joe  0.201079
1   Joe  Steve  0.703279
2  Bill    Bob  0.722724
3  Mary    Bob  0.093912
4   Joe  Steve  0.766027
set(['Steve', 'Bob', 'Bill', 'Joe', 'Mary'])
小开

我已经设置了一个 DataFrame，它的列中有几个简单的字符串:

>>> df
a  b
0  a  g
1  b  h
2  d  a
3  e  e

您可以连接您感兴趣的列并调用 unique函数:

>>> pandas.concat([df['a'], df['b']]).unique()
array(['a', 'b', 'd', 'e', 'g', 'h'], dtype=object)
小开 
In [5]: set(df.Col1).union(set(df.Col2))
Out[5]: {'Bill', 'Bob', 'Joe', 'Mary', 'Steve'}

或者:

set(df.Col1) | set(df.Col2)
小开
最佳答案

pd.unique 返回输入数组、 DataFrame 列或索引中的唯一值。

这个函数的输入需要是一维的，因此需要组合多个列。最简单的方法是选择所需的列，然后查看展开的 NumPy 数组中的值。整个行动是这样的:

>>> pd.unique(df[['Col1', 'Col2']].values.ravel('K'))
array(['Bob', 'Joe', 'Bill', 'Mary', 'Steve'], dtype=object)

请注意，ravel()是一个数组方法，它返回多维数组的视图(如果可能的话)。参数 'K'告诉方法按照元素存储在内存中的顺序展开数组(熊猫通常在 超连续顺序中存储底层数组; 列在行之前)。这比使用方法的默认“ C”顺序要快得多。

另一种方法是选择列并将它们传递给 np.unique:

>>> np.unique(df[['Col1', 'Col2']].values)
array(['Bill', 'Bob', 'Joe', 'Mary', 'Steve'], dtype=object)

这里不需要使用 ravel()，因为该方法可以处理多维数组。即便如此，这可能比 pd.unique慢，因为它使用基于排序的算法而不是哈希表来识别唯一值。

速度上的差异对于较大的 DataFrames 来说是显著的(特别是如果只有少量唯一值的话) :

>>> df1 = pd.concat([df]*100000, ignore_index=True) # DataFrame with 500000 rows
>>> %timeit np.unique(df1[['Col1', 'Col2']].values)
1 loop, best of 3: 1.12 s per loop


>>> %timeit pd.unique(df1[['Col1', 'Col2']].values.ravel('K'))
10 loops, best of 3: 38.9 ms per loop


>>> %timeit pd.unique(df1[['Col1', 'Col2']].values.ravel()) # ravel using C order
10 loops, best of 3: 49.9 ms per loop
小开

使用 numpy v1.13 + 的更新解决方案要求在使用多列时在 Np.only中指定轴，否则数组将隐式变平。

import numpy as np


np.unique(df[['col1', 'col2']], axis=0)

这一变化是在2016年11月引入的: https://github.com/numpy/numpy/commit/1f764dbff7c496d6636dc0430f083ada9ff4e4be

小开

对于我们这些热爱熊猫，应用，当然还有 Lambda 功能的人来说:

df['Col3'] = df[['Col1', 'Col2']].apply(lambda x: ''.join(x), axis=1)
小开 
list(set(df[['Col1', 'Col2']].as_matrix().reshape((1,-1)).tolist()[0]))

输出将是 [‘ Mary’，‘ Joe’，‘ Steve’，‘ Bob’，‘ Bill’]

小开

还有一个办法


import numpy as np
set(np.concatenate(df.values))

提交答案