回答问题

我正在尝试在Python中加载和解析 JSON 文件。但我一直试图加载文件:

import json
json_data = open('file')
data = json.load(json_data)

产量:

ValueError: Extra data: line 2 column 1 - line 225116 column 1 (char 232 - 160128774)

我看了看_18.2。json— JSON 编码器和解码器_ 在 Python 文档中,但是阅读这个看起来很糟糕的文档是非常令人沮丧的。

前几行(使用随机条目匿名):

{"votes": {"funny": 2, "useful": 5, "cool": 1}, "user_id": "harveydennis", "name": "Jasmine Graham", "url": "http://example.org/user_details?userid=harveydennis", "average_stars": 3.5, "review_count": 12, "type": "user"}
{"votes": {"funny": 1, "useful": 2, "cool": 4}, "user_id": "njohnson", "name": "Zachary Ballard", "url": "https://www.example.com/user_details?userid=njohnson", "average_stars": 3.5, "review_count": 12, "type": "user"}
{"votes": {"funny": 1, "useful": 0, "cool": 4}, "user_id": "david06", "name": "Jonathan George", "url": "https://example.com/user_details?userid=david06", "average_stars": 3.5, "review_count": 12, "type": "user"}
{"votes": {"funny": 6, "useful": 5, "cool": 0}, "user_id": "santiagoerika", "name": "Amanda Taylor", "url": "https://www.example.com/user_details?userid=santiagoerika", "average_stars": 3.5, "review_count": 12, "type": "user"}
{"votes": {"funny": 1, "useful": 8, "cool": 2}, "user_id": "rodriguezdennis", "name": "Jennifer Roach", "url": "http://www.example.com/user_details?userid=rodriguezdennis", "average_stars": 3.5, "review_count": 12, "type": "user"}

Answers

你有一个JSON Lines 格式的文本文件。您需要逐行解析文件:

import json

data = []
with open('file') as f:
    for line in f:
        data.append(json.loads(line))

每个 line 都包含有效的 JSON,但作为一个整体,它不是有效的 JSON 值,因为没有顶级列表或对象定义。

请注意,由于该文件每行都包含 JSON,因此您可以省去尝试一次性解析所有文件或找出流式 JSON 解析器的麻烦。您现在可以选择在继续下一行之前分别处理每一行,从而节省过程中的内存。如果您的文件非常大,您可能不想将每个结果附加到一个列表并_然后_处理所有内容。

如果您有一个包含单个 JSON 对象且中间有分隔符的文件,请使用如何使用“json”模块一次读取一个 JSON 对象?使用缓冲方法解析出单个对象。