pandas唯一值多列

Question

df = pd.DataFrame({'Col1': ['Bob', 'Joe', 'Bill', 'Mary', 'Joe'],
                   'Col2': ['Joe', 'Steve', 'Bob', 'Bob', 'Steve'],
                   'Col3': np.random.random(5)})

返回'Col1'和'Col2'的唯一值的最佳方法是什么？

期望的输出是

'Bob', 'Joe', 'Bill', 'Mary', 'Steve'

Answer 1

pd.unique 返回输入数组或DataFrame列或索引中的唯一值.

此函数的输入需要是一维的,因此需要组合多个列.最简单的方法是选择所需的列,然后在展平的NumPy数组中查看值.整个操作如下:

>>> pd.unique(df[['Col1', 'Col2']].values.ravel('K'))
array(['Bob', 'Joe', 'Bill', 'Mary', 'Steve'], dtype=object)

请注意,这ravel()是一个数组方法,而不是返回多维数组的视图(如果可能).该参数'K'告诉方法按照元素存储在内存中的顺序展平数组(pandas通常以Fortran连续顺序存储底层数组;行之前的列).这可能比使用方法的默认"C"顺序快得多.

另一种方法是选择列并将它们传递给np.unique:

>>> np.unique(df[['Col1', 'Col2']].values)
array(['Bill', 'Bob', 'Joe', 'Mary', 'Steve'], dtype=object)

这里不需要使用ravel(),因为该方法处理多维数组.即便如此,这可能比pd.unique使用基于排序的算法而不是哈希表来识别唯一值更慢.

对于较大的DataFrame,速度的差异很大(特别是如果只有少数唯一值):

>>> df1 = pd.concat([df]*100000, ignore_index=True) # DataFrame with 500000 rows
>>> %timeit np.unique(df1[['Col1', 'Col2']].values)
1 loop, best of 3: 1.12 s per loop

>>> %timeit pd.unique(df1[['Col1', 'Col2']].values.ravel('K'))
10 loops, best of 3: 38.9 ms per loop

>>> %timeit pd.unique(df1[['Col1', 'Col2']].values.ravel()) # ravel using C order
10 loops, best of 3: 49.9 ms per loop

Answer 2

我DataFrame在其列中设置了一些简单的字符串:

>>> df
   a  b
0  a  g
1  b  h
2  d  a
3  e  e

您可以连接您感兴趣的列并调用unique函数:

>>> pandas.concat([df['a'], df['b']]).unique()
array(['a', 'b', 'd', 'e', 'g', 'h'], dtype=object)

Answer 3

In [5]: set(df.Col1).union(set(df.Col2))
Out[5]: {'Bill', 'Bob', 'Joe', 'Mary', 'Steve'}

要么:

set(df.Col1) | set(df.Col2)

Answer 4

如果使用多列，则使用 numpy v1.13+ 的更新解决方案需要在np.unique 中指定轴，否则数组将被隐式展平。

import numpy as np

np.unique(df[['col1', 'col2']], axis=0)

此更改于 2016 年 11 月引入：https : //github.com/numpy/numpy/commit/1f764dbff7c496d6636dc0430f083ada9ff4e4be