pandas df中当前唯一值的计数

Question

我试图在a count中返回一个unique值pandas df.这是每个人的累积计数row.我的目标是合并一个函数,该函数确定当前在任何时间点发生的值.

import pandas as pd

df = pd.DataFrame({          
    'A' : ['8:06:00','11:00:00','11:30:00','12:00:00','13:00:00','13:30:00','14:00:00','17:00:00'],
    'B' : ['ABC','ABC','DEF','XYZ','ABC','LMN','DEF','ABC'],          
    'C' : [1,2,1,1,3,1,2,4],            
    })

          A    B  C
0   8:06:00  ABC  1
1  11:00:00  ABC  2
2  11:30:00  DEF  1
3  12:00:00  XYZ  1
4  13:00:00  ABC  3
5  13:30:00  LMN  1
6  14:00:00  DEF  2
7  17:00:00  ABC  4

所以有4个unique值col['B'].我正在测量通过

df1 = df['B'].nunique()

但是我希望iterates通过它来合并一个函数column来识别是否再次出现任何特定值.如果不是,我希望计数减少.如果这是第一次显示该值,我想增加计数.如果该值已经出现并再次出现,则计数应保持不变.这将显示在任何时间点发生的值的数量.

使用@jpp的代码,我们生成以下内容:

cum_maxer = pd.Series(pd.factorize(df['B'])[0] + 1).cummax()
df['res'] = cum_maxer - df['B'].duplicated().cumsum()

print(df)

日期:

          A    B  C  res
0   8:06:00  ABC  1    1
1  11:00:00  ABC  2    0
2  11:30:00  DEF  1    1
3  12:00:00  XYZ  1    2
4  13:00:00  ABC  3    1
5  13:30:00  LMN  1    2
6  14:00:00  DEF  2    1
7  17:00:00  ABC  4    0

预期输出 'res'

0  1
1  1
2  2
3  3
4  2
5  3
6  2
7  1

基本上,如果value我第一次出现,我想将它添加到cumulative count.如果值结束(稍后不会出现),则计数应该减少.如果值已经出现并再次出现,则计数应该保持不变.

每行的断开和预期的输出:

1st row,ABC第一次出现,稍后出现.Count = +1

2nd row,ABC再次出现所以没有增加.它也出现在后来所以没有减少.Count = no change

3rd row,DEF第一次出现,稍后出现.Count = +1

4th row,XYZ这是第一次出现但后来没有出现.在这个时间点,正在发生3个值,所以count is 3.计数自动下降到下一行XYZ has finished

5th row,如上所述XYZ已经完成ABC,DEF目前正在进行中.该ABC值也会再次显示出来count is 2.

6th row,LMN这是第一次出现,所以计数增加.这意味着ABC, DEF, LMN当时是最新的.很像row 4,LMN不再出现所以计数将在下一行减少LMN完成.Count is 3

第7行,DEF和ABC目前在这样的count is 2.由于DEF没有再出现,计数将在下一行减少.

第8行,ABC目前唯一的值是这样的count is 1.

Answer 1

您也可以使用 np.unique

u = np.unique(df.B, return_index=True)
df['id'] = df.B.map(dict(zip(*u))) + 1

0    1
1    2
2    3
3    1
4    2
5    1

编辑的问题

对于您编辑的问题，这是一个解决方案。首先，使用cumcount反向数据框来查看未来

df['u'] = df[::-1].groupby('B').B.cumcount()

这样u表示B当前每个电流B出现多少次。然后，zip B和u你的逻辑，使用S_n = S_{n-1} + new_value + dec 其中new_value一个标志是True，如果当前val是一个新的价值，并且dec是True如果前一行是（即价值的最后一次出现u==0在那个时候）。该代码将类似于

ids = [1]
seen = set([df.iloc[0].B])
dec = False
for val, u in zip(df.B[1:], df.u[1:]):
    ids.append(ids[-1] + (val not in seen) - dec)
    seen.add(val)
    dec = u == 0

df['S'] = ids

    A           B   C   u   S   expected
0   8:06:00     ABC 1   3   1          1
1   11:00:00    ABC 2   2   1          1
2   11:30:00    DEF 1   1   2          2
3   12:00:00    XYZ 1   0   3          3
4   13:00:00    ABC 3   1   2          2
5   13:30:00    LMN 1   0   3          3
6   14:00:00    DEF 2   0   2          2
7   17:00:00    ABC 4   0   1          1

哪里

>>> (df.S == df.expected).all()
True

时机

df = pd.DataFrame({          
'A' : ['8:06:00','11:00:00','11:30:00','12:00:00','13:00:00','13:30:00','14:00:00','17:00:00'],
'B' : ['ABC','ABC','DEF','XYZ','ABC','LMN','DEF','ABC'],          
'C' : [1,2,1,1,3,1,2,4],            
})

def matt(df):
    valsets = df['B'].apply(lambda x: {x})
    union_sets = np.frompyfunc(lambda x, y: x | y, 2, 1)
    intersect_count = np.frompyfunc(lambda x, y: len(x & y), 2, 1)

    seen = union_sets.accumulate(valsets, dtype=np.object)
    to_be_seen = union_sets.accumulate(valsets[::-1], dtype=np.object)[::-1]
    df['res'] = intersect_count(seen, to_be_seen)
    return df

def raf(df):
    ids = [1]
    seen = set([df.iloc[0].B])
    dec = False
    df['u'] = df[::-1].groupby('B').B.cumcount()
    for val, u in zip(df.B[1:], df.u[1:]):
        ids.append(ids[-1] + (val not in seen) - dec)
        seen.add(val)
        dec = u == 0

    df['S'] = ids
    return df

df = pd.concat([df]*10000).reset_index()

结果

%timeit matt(df)
168 ms ± 12.9 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
%timeit raf(df)
64.2 ms ± 2.04 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)