熊猫：使用`df.loc`将类型从datetime64转换为int

Question

当尝试使用df.loc[]我重新分配列中的某些值时，出现奇怪的类型转换错误，将日期时间转换为整数。

最小示例：

import numpy as np
import pandas as pd
import datetime
d = pd.DataFrame(zip(['12/6/2015', np.nan], [1, 2]), columns=list('ab'))
print(d)
d.loc[pd.notnull(d.a), 'a'] = d.a[pd.notnull(d.a)].apply(lambda x: datetime.datetime(2015,12,6))
print(d)

完整示例：

这是我的数据框（包含NaN）：

>>> df.head()

  prior_ea_date quarter
0    12/31/2015      Q2
1    12/31/2015      Q3
2    12/31/2015      Q3
3    12/31/2015      Q3
4    12/31/2015      Q2

>>> df.prior_ea_date

0         12/31/2015
1         12/31/2015
...
341486     1/19/2016
341487      1/6/2016
Name: prior_ea_date, dtype: object

我要运行以下代码行：

df.loc[pd.notnull(df.prior_ea_date), 'prior_ea_date'] = df.prior_ea_date[pd.notnull(df.prior_ea_date)].apply(dt, usa=True)

dt日期时间解析器的字符串在哪里，正常运行时会给出：

>>> df.prior_ea_date[pd.notnull(df.prior_ea_date)].apply(dt, usa=True).head()

0   2015-12-31
1   2015-12-31
2   2015-12-31
3   2015-12-31
4   2015-12-31
Name: prior_ea_date, dtype: datetime64[ns]

但是，当我运行时，.loc[]我得到以下信息：

>>> df.loc[pd.notnull(df.prior_ea_date), 'prior_ea_date'] = df.prior_ea_date[pd.notnull(df.prior_ea_date)].apply(dt, usa=True)
>>> df.head()

         prior_ea_date quarter
0  1451520000000000000      Q2
1  1451520000000000000      Q3
2  1451520000000000000      Q3
3  1451520000000000000      Q3
4  1451520000000000000      Q2

并且它已将我的datetime对象转换为整数。

• 为什么会这样呢？
• 如何避免这种行为？

我设法建立了一个临时的解决方案，因此尽管我会欣赏任何一线黑客，但我仍希望使用熊猫风格的解决方案。

谢谢。

Answer 1

我们将从第一个问题开始：如何避免这种行为？

我的理解是，您想将prior_eta_date列转换为日期时间对象。熊猫风格的方法是使用to_datetime：

df.prior_ea_date = pd.to_datetime(df.prior_ea_date, format='%m/%d/%Y')
df.prior_ea_date

0   2015-12-31
1   2015-12-31
2   2015-12-31
3   2015-12-31
4   2015-12-31
5          NaT
Name: prior_ea_date, dtype: datetime64[ns]

您的第一个问题更有趣：为什么会这样？

我认为正在发生的事情是，当您使用时df.loc[pd.notnull(df.prior_ea_date), 'prior_ea_date'] = ....，是在prior_ea_date列的某个切片上设置值，而不是覆盖整个列。在这种情况下，Pandas执行默认类型转换以将右侧转换为原始prior_ea_date列的类型。请注意，这些长整数是所需日期的纪元时间。

我们可以通过您的最小示例看到这一点：

##
# Example of type casting on slice
##

d = pd.DataFrame(zip(['12/6/2015', np.nan], [1, 2]), columns=list('ab'))

# Column-a is still dtype: object
d.a
0    12/6/2015
1          NaN
Name: a, dtype: object

d.loc[pd.notnull(d.a), 'a'] = d.a[pd.notnull(d.a)].apply(lambda x: datetime.datetime(2015,12,6))

# Column-a is still dtype: object
d.a
0    1449360000000000000
1                    NaN
Name: a, dtype: object

##
# Example of overwriting whole column
##

d = pd.DataFrame(zip(['12/6/2015', np.nan], [1, 2]), columns=list('ab'))
d.a = pd.to_datetime(d.a, format='%m/%d/%Y')

# Column-a dtype is now datetime
d.a
0   2015-12-06
1          NaT
Name: a, dtype: datetime64[ns]

更多详情：

为了响应OP要求提供的更多详细信息，我在Pycharm中跟踪了调用堆栈，以了解发生了什么。TLDR的答案是：最终，将datetimedtypes转换为整数的意外行为是由于Numpy的内部行为所致。

d = np.datetime64('2015-12-30T16:00:00.000000000-0800')
d.astype(np.dtype(object))
#>>> 1451520000000000000L

...您能详细说明使用.loc时为什么会发生这种类型转换以及如何避免这种情况...

我的原始答案的直觉是正确的。这是由于datetime对象被转换为泛型object类型。这是因为在loc切片上进行设置会保留已设置值的列的dtype。

用设置值时loc，Pandas _LocationIndexer在indexing模块中使用。经过大量检查尺寸和条件后，该行self.obj._data = self.obj._data.setitem(indexer, value)实际设置了新值。

进入该行，我们发现将日期时间转换为整数的那一刻，第742行pandas.core.internals.py：

values[indexer] = value  

在此语句中，values是Numpy ndarray对象dtype。这是原始作业左侧的数据。它包含日期字符串。该indexer仅仅是一个元组。并且value是一个ndarrayNumpy datetime64对象。

此操作使用Numpy自己的setitem方法，该方法用调用填充单个“单元格” np.asarray(value, self.dtype)。在您的情况下，self.dtype是左侧的类型：object并且value参数在各个日期时间中。

np.asarray(d, np.dtype(object))
#>>> array(1451520000000000000L, dtype=object)

...以及如何避免...
不要使用loc。如上例所示，覆盖整个列。

...我认为拥有dtype = object的列将避免熊猫假设对象类型。无论哪种方式，对于我来说似乎都是出乎意料的，当原始列包含字符串和NaN时，为什么应该将其转换为int。

最终，此行为归因于Numpy如何实现从日期时间到对象的转换。现在，为什么Numpy会这样做？我不知道。这是一个很好的新问题，还有其他问题。