熊猫分组城市和月份并填写缺少的月份

Question

我有一个包含多个城市的DataFrame，每个月都有多个值。我需要按城市和月份对这些值进行分组，并用NA填充缺少的月份。

按城市和月份工作分组：

self.probes[['city', 'date', 'value']].groupby(['city',pd.Grouper(key='date', freq='M')])

| Munich   | 2018-06 | values... |
| Munich   | 2018-08 | values... |
| Munich   | 2018-09 | values... |
| New York | 2018-06 | values... |
| New York | 2018-07 | values... |

但是我无法设法弥补缺失的几个月。

| Munich   | 2018-06 | values... |
| Munich   |*2018-07*| NA instead of values |
| Munich   | 2018-08 | values... |
| Munich   | 2018-09 | values... |
| New York | 2018-06 | values... |
| New York | 2018-07 | values... |

Answer 1

我认为您需要像sum先添加一些聚合函数：

print (probes)
       city        date  value
0    Munich  2018-06-01      4
1    Munich  2018-08-01      1
2    Munich  2018-08-03      5
3    Munich  2018-09-01      1
4  New York  2018-06-01      1
5  New York  2018-07-01      2

probes['date'] = pd.to_datetime(probes['date'])
s = probes.groupby(['city',pd.Grouper(key='date', freq='M')])['value'].sum()
print (s)
city      date      
Munich    2018-06-30    4
          2018-08-31    6
          2018-09-30    1
New York  2018-06-30    1
          2018-07-31    2
Name: value, dtype: int64

然后groupby通过citywith与结合使用asfreq，reset_index对于DatetimeIndex以下情况是必要的：

df1 = (s.reset_index(level=0)
        .groupby('city')['value']
        .apply(lambda x: x.asfreq('M'))
        .reset_index())
print (df1)
       city       date  value
0    Munich 2018-06-30    4.0
1    Munich 2018-07-31    NaN
2    Munich 2018-08-31    6.0
3    Munich 2018-09-30    1.0
4  New York 2018-06-30    1.0
5  New York 2018-07-31    2.0

也可以MS在月初使用：

probes['date'] = pd.to_datetime(probes['date'])
s = probes.groupby(['city',pd.Grouper(key='date', freq='MS')])['value'].sum()

df1 = (s.reset_index(level=0)
        .groupby('city')['value']
        .apply(lambda x: x.asfreq('MS'))
        .reset_index()
        )
print (df1)
       city       date  value
0    Munich 2018-06-01    4.0
1    Munich 2018-07-01    NaN
2    Munich 2018-08-01    6.0
3    Munich 2018-09-01    1.0
4  New York 2018-06-01    1.0
5  New York 2018-07-01    2.0