错误 JSON - 键未被引用

Question

我正在从 AWS（来自 javascript 文件）中抓取一些 JSONP 字典。在仅针对类似 JSON 的数据解析原始数据后，在某些情况下，我得到一个有效的 JSON 并且可以在 Python (json_data = json.loads(json_like_data)) 中成功加载它。但是，Amazon 的某些 JSONP 不在其键周围包含引号（请参阅下文）。

...
{type:"storageCurrentGen",sizes:
[{size:"i2.xlarge",vCPU:"4",ECU:"14",memoryGiB:"30.5",storageGB:"1 x 800 SSD",valueColumns:[{name:"linux",prices:{USD:"0.938"}}]},
{size:"i2.2xlarge",vCPU:"8",ECU:"27",memoryGiB:"61",storageGB:"2 x 800 SSD",valueColumns:[{name:"linux",prices:{USD:"1.876"}}]},
{size:"i2.4xlarge",vCPU:"16",ECU:"53",memoryGiB:"122",storageGB:"4 x 800 SSD",valueColumns:[{name:"linux",prices:{USD:"3.751"}}]},
...

对于 JSONP，这仍然有效，因为它是有效的 JavaScript 语法。但是，Python 的 json.loads(json_str) 无效，因为它无效 JSON.

还有另一个 Python 模块 YAML 可以处理不带引号的键，但是分号 (:) 之后必须有一个 space。

我想我有两个选择。

以某种方式替换左大括号或逗号 ({ | ,) 和冒号 (:) 之间的字符。然后使用 json.loads(...).
在每个冒号 (:) 之后添加一个 space。然后用 yaml.load(...).

我的猜测是选项 2 优于选项 1。但是，我正在寻求更好解决方案的建议。

有没有人遇到过这样的格式不正确的JSON并使用Python来解析它？

Answer 1

你有一个 HJSON document, at which point you can use the hjson project 来解析它：

>>> import hjson
>>> hjson.loads('{javascript_style:"Look ma, no quotes!"}')
OrderedDict([('javascript_style', 'Look ma, no quotes!')])

HJSON 是 JSON 不需要引用对象名称，甚至对于某些字符串值，添加注释支持和 multi-line 字符串，并且对逗号所在的位置有宽松的规则应该使用（包括根本不使用逗号）。

或者您可以安装并使用 demjson library；它支持解析有效的JavaScript（缺少引号）：

import demjson

result = demjson.decode(jsonp_payload)

只有当您设置 strict=True 标志时，demjson 才会拒绝解析您的输入：

>>> import demjson
>>> demjson.decode('{javascript_style:"Look ma, no quotes!"}')
{u'javascript_style': u'Look ma, no quotes!'}
>>> demjson.decode('{javascript_style:"Look ma, no quotes!"}', strict=True)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/Users/mjpieters/Development/venvs/Whosebug-2.7/lib/python2.7/site-packages/demjson.py", line 5701, in decode
    return_stats=(return_stats or write_stats) )
  File "/Users/mjpieters/Development/venvs/Whosebug-2.7/lib/python2.7/site-packages/demjson.py", line 4917, in decode
    raise errors[0]
demjson.JSONDecodeError: ('JSON does not allow identifiers to be used as strings', u'javascript_style')

使用正则表达式，您可以尝试使用正则表达式来验证 JSON；然而，这可以导致误报。模式将是：

import re

valid_json = re.sub(r'(?<={|,)([a-zA-Z][a-zA-Z0-9]*)(?=:)', r'""', jsonp_payload)

这匹配一个{或,，后跟一个JavaScript标识符（一个字符，后跟更多的字符或数字），然后直接跟一个: 冒号。如果您引用的值包含任何此类模式，您将获得无效 JSON.

Answer 2

您也可以使用简单的 Regex 来完成（在这种特殊情况下）：

ll = '{type:"storageCurrentGen",sizes:\n[{size:"i2.xlarge",vCPU:"4",ECU:"14",memoryGiB:"30.5",storageGB:"1 x 800 SSD",valueColumns:[{name:"linux",prices:{USD:"0.938"}}]},\n{size:"i2.2xlarge",vCPU:"8",ECU:"27",memoryGiB:"61",storageGB:"2 x 800 SSD",valueColumns:[{name:"linux",prices:{USD:"1.876"}}]},\n{size:"i2.4xlarge",vCPU:"16",ECU:"53",memoryGiB:"122",storageGB:"4 x 800 SSD",valueColumns:[{name:"linux",prices:{USD:"3.751"}}]},'

ll_patched = re.sub('([{,:])(\w+)([},:])','\1\"\2\"\3',ll)
>>> ll_patched
'{"type":"storageCurrentGen","sizes":\n[{"size":"i2.xlarge","vCPU":"4","ECU":"14","memoryGiB":"30.5","storageGB":"1 x 800 SSD","valueColumns":[{"name":"linux","prices":{"USD":"0.938"}}]},\n{"size":"i2.2xlarge","vCPU":"8","ECU":"27","memoryGiB":"61","storageGB":"2 x 800 SSD","valueColumns":[{"name":"linux","prices":{"USD":"1.876"}}]},\n{"size":"i2.4xlarge","vCPU":"16","ECU":"53","memoryGiB":"122","storageGB":"4 x 800 SSD","valueColumns":[{"name":"linux","prices":{"USD":"3.751"}}]},'

错误 JSON - 键未被引用

Bad JSON - Keys are not quoted

python

json

jsonp