使用 JSON 序列化/反序列化 Pandas DataFrame 时如何保持索引的时区

aqu*_*lah 7 python pandas

我需要使用该to_json方法将 Pandas DataFrame 序列化为 JSON 。这是我如何做的一个例子:

import pandas
import numpy as np
dr = pandas.date_range('2016-01-01T12:30:00Z', '2016-02-01T12:30:00Z')
data = np.random.rand(len(dr), 2)
df = pandas.DataFrame(data, index=dr, columns=['a', 'b'])

# NOTE: The index for df has the following properties in pandas 0.19.2
#       dtype='datetime64[ns, UTC]', freq='D'

# Save to JSON
df.to_json('/tmp/test_data_01.json', date_unit='s', date_format='iso')
Run Code Online (Sandbox Code Playgroud)

使用上面的代码,我看到我的 DataFrame 已保存到磁盘,并且索引看起来像: [2016-01-01T12:30:00Z, 2016-01-02T12:30:00Z, ...] 在文件 / tmp/test_data_01.json。

问题是,当我执行以下操作时:

df2 = pandas.read_json('/tmp/test_data_01.json')
Run Code Online (Sandbox Code Playgroud)

df2 的索引没有时区。

df2.index.tz
# Returns None
Run Code Online (Sandbox Code Playgroud)

无论如何要保留序列化为 JSON 并反序列化的 DataFrame 的时区属性?

Jul*_*rec 5

使用 .pandas 时,Pandas 会将所有内容转换为 UTC to_json

请参阅此示例,我将其更改Europe/Paris为 UTC+1:

In [1]:
dr = pd.date_range('2016-01-01T12:30:00Z', '2016-02-01T12:30:00Z')
dr = dr.tz_convert('Europe/Paris')
data = np.random.rand(len(dr), 2)
df = pd.DataFrame(data, index=dr, columns=['a', 'b'])

In [2]: df.index[0]
Out[2]: Timestamp('2016-01-01 13:30:00+0100', tz='Europe/Paris', freq='D')

In [3]: df.to_json('test_data_01.json', date_unit='s', date_format='iso')
Run Code Online (Sandbox Code Playgroud)

如果我打开 test_data_01.json,第一个是"2016-01-01T12:30:00Z".

因此,当您加载 json 时,请将其本地化为 UTC。但是,无法事先知道 tz 使用了什么:

In [4]:
df2 = pd.read_json('test_data_01.json')
df2.index = df2.index.tz_localize('UTC')
Run Code Online (Sandbox Code Playgroud)

  • 截至 2020 年中期,pandas 现在支持使用 `orient='table'` 进行 JSON 导出中的时区。请参阅下面我的回答 (2认同)