在 Pandas 数据框中按原样插入字典（JSON）

Question

我有一个用例，我需要将数据帧的现有列转换为 JSON 并仅存储在一个列中。

到目前为止，我试过这个：

import pandas as pd
import json
df=pd.DataFrame([{'a':'sjdfb','b':'jsfubs'},{'a':'ouhbsdv','b':'cm osdn'}]) #Random data
jsonresult1=df.to_json(orient='records')
# '[{"a":"sjdfb","b":"jsfubs"},{"a":"ouhbsdv","b":"cm osdn"}]'

但我希望数据只是字典的字符串表示而不是列表。所以我试过这个：

>>>jsonresult2=df.to_dict(orient='records')
>>>jsonresult2
# [{'a': 'sjdfb', 'b': 'jsfubs'}, {'a': 'ouhbsdv', 'b': 'cm osdn'}]

这就是我希望数据的样子，但是当我尝试将其设为数据框时，数据框的格式再次为 2 列 [a,b]。这些字典对象的字符串表示将以所需格式将列数据插入到数据框中。

>>>for i in range(len(jsonresult2)):
...    jsonresult3.append(str(jsonresult2[i]))
...
>>> jsonresult3
["{'a': 'sjdfb', 'b': 'jsfubs'}", "{'a': 'ouhbsdv', 'b': 'cm osdn'}"]

这正是我想要的。当我将其推送到数据框时，我得到：

 >>> df1
                              0
 ++++++++++++++++++++++++++++++++++++
 0  |   {'a': 'sjdfb', 'b': 'jsfubs'}
 1  |{'a': 'ouhbsdv', 'b': 'cm osdn'}

但我觉得这是一种非常低效的方式。我如何使它看起来和以优化的方式工作？我的数据可以超过 10M 行。这需要太长时间。

Answer 1

我会先转换成字典……做成一个系列……然后申请 pd.json.dumps

pd.Series(df.to_dict('records'), df.index).apply(pd.json.dumps)

0       {"a":"sjdfb","b":"jsfubs"}
1    {"a":"ouhbsdv","b":"cm osdn"}
dtype: object

或者更短的代码

df.apply(pd.json.dumps, 1)

0       {"a":"sjdfb","b":"jsfubs"}
1    {"a":"ouhbsdv","b":"cm osdn"}
dtype: object

我们可以通过自己构造字符串来提高性能

v = df.values.tolist()
c = df.columns.values.tolist()

pd.Series([str(dict(zip(c, row))) for row in v], df.index)

0       {'a': 'sjdfb', 'b': 'jsfubs'}
1    {'a': 'ouhbsdv', 'b': 'cm osdn'}
dtype: object

如果内存有问题，我会保存df到 csv 并逐行读取它，并在此过程中构建一个新的系列或数据框。

df.to_csv('test.csv')

这速度较慢，但​​可以解决一些内存问题。

s = pd.Series()
with open('test.csv') as f:
    c = f.readline().strip().split(',')[1:]
    for row in f:
        row = row.strip().split(',')
        s.set_value(row[0], str(dict(zip(c, row[1:]))))

或者，如果您可以将文件保存df在内存中，则可以跳过文件导出

s = pd.Series()
c = df.columns.values.tolist()
for t in df.itertuples():
    s.set_value(t.Index, str(dict(zip(c, t[1:]))))