Pandas/Python 破坏 DataFrames 中的 JSON 数据

Question

我正在与 API 交互并取回 JSON 数据。在 JSON 对象的顶层，我有“常规”数据，但某些字段具有更高级的结构：

{
    "foo": 1,
    "bar": "string",
    "spam": {
                "egg":"green",
                "ham":"yum",
                "ran": {
                        "out_of":"fake_words"
                       }
            }
}

我需要将这些高级结构（“垃圾邮件”）保留为有效的 JSON

我正在使用请求获取数据并将其加载到 Pandas DataFrame 中，如下所示：

api_result = api.get_data().json()     #the json output of the Request object
df = read_json(json.dumps(api_result))

这给了我一个很好的三列数据帧，正如我所期望的（这也是我想要的）。问题来自于字符串：

foo    bar        spam
1      'string'   {'egg':'green','ham':'yum','ran':{'out_of':'fake_words'}

Pandas 或 Python 已将我的数据中的所有字符串更改为单引号 (') 而不是有效的 JSON 双引号 (")。这种行为破坏了所有期望有效 JSON 对象的下游处理，因为所有引号现在都是单引号。

编辑--> 我的程序写出一个 csv，该 csv 被摄取到数据库表中，期望在许多字段中使用有效的 JSON。许多其他过程使用此表进行进一步分析和数据准备。<--编辑

有没有办法告诉 Pandas/Python 停止将我的字符串从双引号更改为单引号？我知道一般的让步是单引号更像 Pythonic，但现在它们正在毁掉我的一切。

谢谢！

Answer 1

如果要在 Python 中生成有效的 JSON，最好的方法是内置json包。您可以使用该dumps函数从 Python 字典创建有效的 JSON 字符串：

>>> import json
>>> data = {'egg':'green','ham':'yum','ran':{'out_of':'fake_words'}}
>>> json.dumps(data)
'{"ham": "yum", "ran": {"out_of": "fake_words"}, "egg": "green"}'

根据编辑的问题编辑答案：

问题在于，当您将 JSON 读入 Pandas 数据帧时，它会将所有内容转换为 Python 对象。在您的情况下，JSON 字符串被转换为 Python dicts，当您打印结果时，它会显示 Python 的 dicts 字符串表示形式。这种表示几乎类似于 JSON，但不是 JSON。

您需要做的是将数据框中的字典转换为有效的 JSON 字符串。要在"spam"列中进行此转换，您可以使用apply()方法调用，例如

data['spam'] = data['spam'].apply(json.dumps)

现在该列包含 JSON 字符串而不是 Python 字典。