查找每个客户的日期时间缺失值

Question

    CustID  UsageDate               EnergyConsumed
0   17111   2018-01-01 00:00:00     1.095
1   17111   2018-01-01 01:00:00     1.129
2   17111   2018-01-01 02:00:00     1.165
3   17111   2018-01-01 03:00:00     1.833
4   17111   2018-01-01 04:00:00     1.697
5   17111   2018-01-01 05:00:00     1.835
missing data point 1
6   17111   2018-01-01 07:00:00     1.835
7   17112   2018-01-01 00:00:00     1.095
8   17112   2018-01-01 01:00:00     1.129
missing data point 1
9   17112   2018-01-01 03:00:00     1.833
10  17112   2018-01-01 04:00:00     1.697
11  17112   2018-01-01 05:00:00     1.835

对于每个客户,我都有每小时的数据.但是,两者之间缺少一些数据点.我想检查使用日期的最小值和最大值,并在该时间间隔内填写缺少的使用日期(所有值均为每小时),并且EnergyConsumed为零.我以后可以使用ffill或回填来处理这个问题.

并非每个客户的最大UsageDate都是2018-01-31 23:00:00.所以我们只想将系列扩展到每个客户的最大日期.

缺失点1被替换为

17111        2018-01-01 06:00:00     0

缺失点2被替换为

17112        2018-01-01 02:00:00     0

我的主要问题是如何找到每个客户的最小和最大日期,然后生成日期的差距.

我已经尝试按日期和重新采样进行索引,但没有帮助我找到解决方案.

另外,我想知道是否有办法直接找到上述模式中缺少值的customerID.我的数据非常庞大,@ Vaishali提供的解决方案计算量很大.任何输入都会有所帮助!

Answer 1

您可以按 custid 对 Dataframe 进行分组，并创建具有所需日期范围的索引。现在使用这个索引来重新索引数据

df['UsageDate'] = pd.to_datetime(df['UsageDate'])

idx = df.groupby('CustID')['UsageDate'].apply(lambda x: pd.Series(index = pd.date_range(x.min(), x.max(), freq = 'H'))).index

df.set_index(['CustID', 'UsageDate']).reindex(idx).fillna(0).reset_index().rename(columns = {'level_1':'UsageDate'})

    CustID  UsageDate               EnergyConsumed
0   17111   2018-01-01 00:00:00     1.095
1   17111   2018-01-01 01:00:00     1.129
2   17111   2018-01-01 02:00:00     1.165
3   17111   2018-01-01 03:00:00     1.833
4   17111   2018-01-01 04:00:00     1.697
5   17111   2018-01-01 05:00:00     1.835
6   17111   2018-01-01 06:00:00     0.000
7   17111   2018-01-01 07:00:00     1.835
8   17112   2018-01-01 00:00:00     1.095
9   17112   2018-01-01 01:00:00     1.129
10  17112   2018-01-01 02:00:00     0.000
11  17112   2018-01-01 03:00:00     1.833
12  17112   2018-01-01 04:00:00     1.697
13  17112   2018-01-01 05:00:00     1.835

说明：由于使用日期必须是该 CustID 的最小和最大日期范围内的所有日期，因此我们按 CustID 对数据进行分组，并使用 date_range 创建一系列最小和最大日期。将日期设置为系列的索引而不是值。groupby 的结果将是一个多重索引，CUSTID 为级别 0，使用日期为级别 1。我们现在使用此多重索引来重新索引原始数据帧。它将使用索引匹配的值，其余的分配 NaN。最后使用 fillna 将 NaN 转换为 0。