将 json.gz 文件读入 pandas

Question

我有一个 json.gz 文件需要转换成 pandas 数据框。我努力了：

df = pd.read_json('myfile.json.gz',lines=True,compression='gzip')

但我的 df 看起来像这样：

Item
0   {'id': {'S': '83424'}, 'createdAt':...
1   {'id': {'S': '234324'}, 'createdAt'...
2   {'id': {'S': '234342'}, 'createdAt'...

基本上我的所有列都是 json 格式的一列。我该如何应对？我还尝试使用以下命令解压缩文件：

with gzip.open("myfile.json.gz", "r") as f:
   data = f.read()
   j = json.loads (data.decode('utf-8'))

但得到：

类型错误：JSONDecoder。init () 收到意外的关键字参数“encoding”

Answer 1

使用最新pandas版本，可以直接加载.json.gz文件

import pandas as pd
df = pd.read_json("myfile.json.gz", lines=True)
df

我在用着pandas==2.0.1