如何规范化不同范围的数据框列中的值

Question

我有这样的数据帧:

    T  data
0   0    10
1   1    20
2   2    30
3   3    40
4   4    50
5   0     5
6   1    13
7   2    21
8   0     3
9   1     7
10  2    11
11  3    15
12  4    19

值T是从0到特定值的序列,其中最大数量可以在序列之间不同.通常,值data不是等间距,现在仅用于演示目的.

我想要实现的是添加第三列 dataDiv,其中data某个序列的每个值除以T = 0属于相应序列的值.在我的情况下,我有3个序列,对于第一个序列,我想将每个值除以10,在第二个序列中,每个值应除以5,第三个除以3.因此预期结果如下所示:

    T  data   dataDiv
0   0    10  1.000000
1   1    20  2.000000
2   2    30  3.000000
3   3    40  4.000000
4   4    50  5.000000
5   0     5  1.000000
6   1    13  2.600000
7   2    21  4.200000
8   0     3  1.000000
9   1     7  2.333333
10  2    11  3.666667
11  3    15  5.000000
12  4    19  6.333333

我目前实现它的方式如下:我首先确定索引T = 0.然后我遍历这些索引并将数据除以相应序列data的值at T=0,这给出了所需的输出(如上所示).代码如下:

import pandas as pd
df = pd.DataFrame({'T': range(5) + range(3) + range(5),
                   'data': range(10, 60, 10) + range(5, 25, 8) + range(3, 21, 4)})

# get indices where T = 0
idZE = df[df['T'] == 0].index.tolist()

# last index of dataframe
idZE.append(max(df.index)+1)

# add the column with normalzed values
df['dataDiv'] = df['data']

# loop through indices where T = 0 and normalize values
for ix, indi in enumerate(idZE[:-1]):

    df['dataDiv'].iloc[indi:idZE[ix + 1]] = df['data'].iloc[indi:idZE[ix + 1]] / df['data'].iloc[indi]

我的问题是:是否有比这更智能的解决方案避免循环？

Answer 1

如果有利于矢量化计算,以下方法可以避免循环,并且应该执行得更快.基本思想是在列'T'中标记整数运行,找到每个组中的第一个值,然后将'data'中的值除以适当的第一个值.

df['grp'] = (df['T'] == 0).cumsum()           # label consecutive runs of integers
x = df.groupby('grp')['data'].first()         # first value in each group
df['dataDiv'] = df['data'] / df['grp'].map(x) # divide 

这为DataFrame提供了所需的列:

    T  data  grp   dataDiv
0   0    10    1  1.000000
1   1    20    1  2.000000
2   2    30    1  3.000000
3   3    40    1  4.000000
4   4    50    1  5.000000
5   0     5    2  1.000000
6   1    13    2  2.600000
7   2    21    2  4.200000
8   0     3    3  1.000000
9   1     7    3  2.333333
10  2    11    3  3.666667
11  3    15    3  5.000000
12  4    19    3  6.333333

(如果您愿意,可以删除'grp'列df.drop('grp', axis=1).)

正如@DSM在下面指出的那样,这三行代码可以折叠成一行,使用groupby.transform:

df['dataDiv'] = df['data'] / df.groupby((df['T'] == 0).cumsum())['data'].transform('first')