Pandas / Numpy NaN无比较

Question

在Python Pandas和Numpy中，比较结果为何不同？

from pandas import Series
from numpy import NaN

NaN 不等于 NaN

>>> NaN == NaN
False

但NaN在列表或元组中是

>>> [NaN] == [NaN], (NaN,) == (NaN,)
(True, True)

而Series与NaN又不相等：

>>> Series([NaN]) == Series([NaN])
0    False
dtype: bool

和None：

>>> None == None, [None] == [None]
(True, True)

而

>>> Series([None]) == Series([None])
0    False
dtype: bool 

这个答案解释了原因NaN == NaN是False一般，但并没有解释其在python /大熊猫收藏行为。

Answer 1

如here、here和python文档中所述，以检查序列相等性

首先比较元素标识，并且仅对不同的元素执行元素比较。

因为np.nan和np.NaN指向同一个对象，即(np.nan is np.nan is np.NaN) == True这个等式成立[np.nan] == [np.nan]，但在另一方面float('nan')函数在每次调用创建一个新的对象，[float('nan')] == [float('nan')]是False。

Pandas/Numpy 没有这个问题：

>>> pd.Series([np.NaN]).eq(pd.Series([np.NaN]))[0], (pd.Series([np.NaN]) == pd.Series([np.NaN]))[0]
(False, False)

尽管特殊的equals方法将NaNs 在同一位置视为等于。

>>> pd.Series([np.NaN]).equals(pd.Series([np.NaN]))
True

None被区别对待。numpy认为它们相等：

>>> pd.Series([None, None]).values == (pd.Series([None, None])).values
array([ True,  True])

虽然pandas没有

>>> pd.Series([None, None]) == (pd.Series([None, None]))
0    False
1    False
dtype: bool

==运算符和eq方法之间也存在不一致，此处讨论：

>>> pd.Series([None, None]).eq(pd.Series([None, None]))
0    True
1    True
dtype: bool

经过测试 pandas: 0.23.4 numpy: 1.15.0