使用 Pandas Groupby 和 Apply with a Function 时处理 None 值

Question

我有一个Dataframe在Pandas同一个字母和两个日期为列。我想使用 计算前一行的两个日期列之间的工作日shift()，前提是Letter值相同（使用 a .groupby()）。我正在用.apply(). 这一直有效，直到我传入了一些缺少日期之一的数据。我将所有内容都移到了一个函数中，以使用try/except子句处理缺失值，但现在我的函数返回NaN了所有内容。看来Nonedate的值会影响函数的每次调用，而我认为它只会在Letterfrom the .groupby()is时才会这样做A。

import pandas as pd
from datetime import datetime
import numpy as np

def business_days(x):
    try:
      return pd.DataFrame(np.busday_count(x['First Date'].tolist(), x['Last Date'].tolist())).shift().reset_index(drop=True)
    except ValueError:
        return None

df = pd.DataFrame(data=[['A', datetime(2016, 1, 7), None],
                        ['A', datetime(2016, 3, 1), datetime(2016, 3, 8)],
                        ['B', datetime(2016, 5, 1), datetime(2016, 5, 10)],
                        ['B', datetime(2016, 6, 5), datetime(2016, 6, 7)]],
                  columns=['Letter', 'First Date', 'Last Date'])

df['First Date'] = df['First Date'].apply(lambda x: x.to_datetime().date())
df['Last Date'] = df['Last Date'].apply(lambda x: x.to_datetime().date())

df['Gap'] = df.groupby('Letter').apply(business_days)

print df

实际输出：

  Letter  First Date   Last Date  Gap
0      A  2016-01-07         NaT  NaN
1      A  2016-03-01  2016-03-08  NaN
2      B  2016-05-01  2016-05-10  NaN
3      B  2016-06-05  2016-06-07  NaN

期望输出：

  Letter   First Day    Last Day   Gap
0      A  2016-01-07         NAT  NAN
1      A  2016-03-01  2016-03-08  NAN
2      B  2016-05-01  2016-05-10  NAN
3      B  2016-06-05  2016-06-07  7

Answer 1

• NaT暂时忽略s，请注意，np.busday_count可以df 在应用之前对 的整列进行计算groupby。这将节省时间，因为这将多次调用np.busday_count（每个组一个）替换为对 的单个调用np.busday_count。应用于大数组的一个函数调用通常比对小数组的许多函数调用快。

• 要处理NaTs，您可以使用pd.notnull标识具有NaTs的行并屏蔽First Dates 和Last Dates，以便仅将有效日期发送到np.busday_count. 然后，您可以NaN为日期为NaTs 的那些行填写s。

• 在我们计算完所有工作日计数后，我们需要做的就是分组 Letter并将值向下移动1。这可以通过 groupby/transform('shift').

import datetime as DT
import numpy as np
import pandas as pd

def business_days(start, end):
    mask = pd.notnull(start) & pd.notnull(end)
    start = start.values.astype('datetime64[D]')[mask]
    end = end.values.astype('datetime64[D]')[mask]
    result = np.empty(len(mask), dtype=float)
    result[mask] = np.busday_count(start, end)
    result[~mask] = np.nan
    return result

df = pd.DataFrame(data=[['A', DT.datetime(2016, 1, 7), None],
                        ['A', DT.datetime(2016, 3, 1), DT.datetime(2016, 3, 8)],
                        ['B', DT.datetime(2016, 5, 1), DT.datetime(2016, 5, 10)],
                        ['B', DT.datetime(2016, 6, 5), DT.datetime(2016, 6, 7)]],
                  columns=['Letter', 'First Date', 'Last Date'])

df['Gap'] = business_days(df['First Date'], df['Last Date'])
print(df)
#   Letter First Date  Last Date  Gap
# 0      A 2016-01-07        NaT  NaN
# 1      A 2016-03-01 2016-03-08  5.0
# 2      B 2016-05-01 2016-05-10  6.0
# 3      B 2016-06-05 2016-06-07  1.0

df['Gap'] = df.groupby('Letter')['Gap'].transform('shift')
print(df)

印刷

  Letter First Date  Last Date  Gap
0      A 2016-01-07        NaT  NaN
1      A 2016-03-01 2016-03-08  NaN
2      B 2016-05-01 2016-05-10  NaN
3      B 2016-06-05 2016-06-07  6.0