python pandas min()没有达到最低限度

Question

我遇到了一个奇怪的问题.我确信这背后有合理的理由.

我有一个名为alloptions的数据框,它有4列,minage1,minage2,minage3和minage4,它们都是float64.缺失值的数量从minage1增加到minage4.

我创建了第五列,它采用这四列中的最小列:

alloptions['minage']=alloptions.apply(lambda x: min([x['minage1'],x['minage2'],x['minage3'],x['minage4']]),axis=1)

看起来它有效,直到我在第47行发现

     minage1    minage2 minage3 minage4 minage      
47     NaN      56.0    NaN      NaN     NaN

使用.loc,我隔离了那行:

In [10]:

 print alloptions.loc[47,:]
 print alloptions.loc[47,:].dtypes

我明白了

minage1   NaN
minage2    56
minage3   NaN
minage4   NaN
minage    NaN
Name: 47, dtype: float64
float64

所以我很困惑为什么功能没有拿起56.

预先感谢您的帮助.

Answer 1

您正在使用内置的Python min函数,它不知道nan并且不一致地处理它:

>>> min(1, np.nan)
1
>>> min(np.nan, 1)
nan

相反,使用min方法from pandas,它知道nan在计算min时忽略值.此方法接受一个axis参数,因此如果您的四minageX列是DataFrame中的唯一列,则可以这样做

df['minage'] = df.min(axis=1)

通常,在使用pandas数据结构时,应避免使用内置的Python函数,如max,min,sum等,而是使用pandas版本; 内置函数对pandas或向量化操作一无所知,可能会产生意外结果.