保存UTF-8文本,json.dumpsUTF-8,而不是\u转义序列

示例代码(在REPL中):

import jsonjson_string = json.dumps("ברי צקלה")print(json_string)

输出:

"\u05d1\u05e8\u05d9 \u05e6\u05e7\u05dc\u05d4"

问题:它不是人类可读的。我的(聪明)用户希望使用JSON转储验证甚至编辑文本文件(我宁愿不使用XML)。

有没有办法将对象序列化为UTF-8 JSON字符串(而不是\uXXXX)?

589837 次浏览

使用ensure_ascii=False切换到json.dumps(),然后手动将值编码为UTF-8:

>>> json_string = json.dumps("ברי צקלה", ensure_ascii=False).encode('utf8')>>> json_stringb'"\xd7\x91\xd7\xa8\xd7\x99 \xd7\xa6\xd7\xa7\xd7\x9c\xd7\x94"'>>> print(json_string.decode())"ברי צקלה"

如果您正在写入文件,只需使用json.dump()并将其留给file对象进行编码:

with open('filename', 'w', encoding='utf8') as json_file:json.dump("ברי צקלה", json_file, ensure_ascii=False)

Python 2的注意事项

对于Python 2,还有一些需要考虑的注意事项。如果您将其写入文件,您可以使用io.open()而不是open()来生成一个在写入时为您编码Unicode值的文件对象,然后使用json.dump()而不是写入该文件:

with io.open('filename', 'w', encoding='utf8') as json_file:json.dump(u"ברי צקלה", json_file, ensure_ascii=False)

请注意,有一个bug#0模块,其中ensure_ascii=False标志可以生成unicodestr对象中的混合。Python 2的解决方法是:

with io.open('filename', 'w', encoding='utf8') as json_file:data = json.dumps(u"ברי צקלה", ensure_ascii=False)# unicode(data) auto-decodes data to unicode if strjson_file.write(unicode(data))

在Python 2中,当使用字节字符串(类型str),编码为UTF-8时,请确保还设置encoding关键字:

>>> d={ 1: "ברי צקלה", 2: u"ברי צקלה" }>>> d{1: '\xd7\x91\xd7\xa8\xd7\x99 \xd7\xa6\xd7\xa7\xd7\x9c\xd7\x94', 2: u'\u05d1\u05e8\u05d9 \u05e6\u05e7\u05dc\u05d4'}
>>> s=json.dumps(d, ensure_ascii=False, encoding='utf8')>>> su'{"1": "\u05d1\u05e8\u05d9 \u05e6\u05e7\u05dc\u05d4", "2": "\u05d1\u05e8\u05d9 \u05e6\u05e7\u05dc\u05d4"}'>>> json.loads(s)['1']u'\u05d1\u05e8\u05d9 \u05e6\u05e7\u05dc\u05d4'>>> json.loads(s)['2']u'\u05d1\u05e8\u05d9 \u05e6\u05e7\u05dc\u05d4'>>> print json.loads(s)['1']ברי צקלה>>> print json.loads(s)['2']ברי צקלה

json.dumps中使用ensure_ascii=False是解决这个问题的正确方向,就像由Martijn指出一样。然而,这可能会引发一个例外:

UnicodeDecodeError:'ascii'codec无法解码位置1中的字节0xe7:序数不在范围内(128)

您需要在site.pysitecustomize.py中进行额外设置才能正确设置sys.getdefaultencoding()site.py代码库lib/python2.0/下方,sitecustomize.pylib/python 2.7/site-包下方。

如果您想使用site.py,请在def set编码()下:将第一个if 0:更改为if 1:,以便Python将使用您的操作系统的语言环境。

如果您更喜欢使用sitecustomize.py,如果您没有创建它,它可能不存在,只需添加以下行:

import sysreload(sys)sys.setdefaultencoding('utf-8')

然后你可以做一些UTF-8格式的中文JSON输出,比如:

name = {"last_name": u"王"}json.dumps(name, ensure_ascii=False)

您将获得一个UTF-8编码的字符串,而不是\u转义的JSON字符串。

要验证您的默认编码:

print sys.getdefaultencoding()

您应该使用“utf-8”或“UTF-8”来验证您的site.pysitecustomize.py设置。

请注意,您无法在交互式Python控制台上执行sys.setdefaultencoding("utf-8")

这是一个错误的答案,但它仍然有助于理解为什么它是错误的。

使用unicode-escape

>>> d = {1: "ברי צקלה", 2: u"ברי צקלה"}>>> json_str = json.dumps(d).decode('unicode-escape').encode('utf8')>>> print json_str{"1": "ברי צקלה", "2": "ברי צקלה"}

Pieters的Python 2解决方法在边缘情况下失败:

d = {u'keyword': u'bad credit  \xe7redit cards'}with io.open('filename', 'w', encoding='utf8') as json_file:data = json.dumps(d, ensure_ascii=False).decode('utf8')try:json_file.write(data)except TypeError:# Decode data to Unicode firstjson_file.write(data.decode('utf8'))
UnicodeEncodeError: 'ascii' codec can't encode character u'\xe7' in position 25: ordinal not in range(128)

它在第3行的. decode('utf8')部分崩溃。我通过避免该步骤以及ASCII的特殊外壳使程序更简单来解决问题:

with io.open('filename', 'w', encoding='utf8') as json_file:data = json.dumps(d, ensure_ascii=False, encoding='utf8')json_file.write(unicode(data))
cat filename{"keyword": "bad credit  çredit cards"}

这是我使用json.dump()的解决方案:

def jsonWrite(p, pyobj, ensure_ascii=False, encoding=SYSTEM_ENCODING, **kwargs):with codecs.open(p, 'wb', 'utf_8') as fileobj:json.dump(pyobj, fileobj, ensure_ascii=ensure_ascii,encoding=encoding, **kwargs)

其中SYSTEM_ENCODING设置为:

locale.setlocale(locale.LC_ALL, '')SYSTEM_ENCODING = locale.getlocale()[1]

写入写入文件

import codecsimport json
with codecs.open('your_file.txt', 'w', encoding='utf-8') as f:json.dump({"message":"xin chào việt nam"}, f, ensure_ascii=False)

打印到标准输出

import jsonprint(json.dumps({"message":"xin chào việt nam"}, ensure_ascii=False))

下面是我的理解var阅读上面的答案和谷歌。

# coding:utf-8r"""@update: 2017-01-09 14:44:39@explain: str, unicode, bytes in python2to3#python2 UnicodeDecodeError: 'ascii' codec can't decode byte 0xe4 in position 7: ordinal not in range(128)#1.reload#importlib,sys#importlib.reload(sys)#sys.setdefaultencoding('utf-8') #python3 don't have this attribute.#not suggest even in python2 #see:http://stackoverflow.com/questions/3828723/why-should-we-not-use-sys-setdefaultencodingutf-8-in-a-py-script#2.overwrite /usr/lib/python2.7/sitecustomize.py or (sitecustomize.py and PYTHONPATH=".:$PYTHONPATH" python)#too complex#3.control by your own (best)#==> all string must be unicode like python3 (u'xx'|b'xx'.encode('utf-8')) (unicode 's disappeared in python3)#see: http://blog.ernest.me/post/python-setdefaultencoding-unicode-bytes
#how to Saving utf-8 texts in json.dumps as UTF8, not as \u escape sequence#http://stackoverflow.com/questions/18337407/saving-utf-8-texts-in-json-dumps-as-utf8-not-as-u-escape-sequence"""
from __future__ import print_functionimport json
a = {"b": u"中文"}  # add u for python2 compatibilityprint('%r' % a)print('%r' % json.dumps(a))print('%r' % (json.dumps(a).encode('utf8')))a = {"b": u"中文"}print('%r' % json.dumps(a, ensure_ascii=False))print('%r' % (json.dumps(a, ensure_ascii=False).encode('utf8')))# print(a.encode('utf8')) #AttributeError: 'dict' object has no attribute 'encode'print('')
# python2:bytes=str; python3:bytesb = a['b'].encode('utf-8')print('%r' % b)print('%r' % b.decode("utf-8"))print('')
# python2:unicode; python3:str=unicodec = b.decode('utf-8')print('%r' % c)print('%r' % c.encode('utf-8'))"""#python2{'b': u'\u4e2d\u6587'}'{"b": "\\u4e2d\\u6587"}''{"b": "\\u4e2d\\u6587"}'u'{"b": "\u4e2d\u6587"}''{"b": "\xe4\xb8\xad\xe6\x96\x87"}'
'\xe4\xb8\xad\xe6\x96\x87'u'\u4e2d\u6587'
u'\u4e2d\u6587''\xe4\xb8\xad\xe6\x96\x87'
#python3{'b': '中文'}'{"b": "\\u4e2d\\u6587"}'b'{"b": "\\u4e2d\\u6587"}''{"b": "中文"}'b'{"b": "\xe4\xb8\xad\xe6\x96\x87"}'
b'\xe4\xb8\xad\xe6\x96\x87''中文'
'中文'b'\xe4\xb8\xad\xe6\x96\x87'"""

如果可能的话使用编解码器,

with codecs.open('file_path', 'a+', 'utf-8') as fp:fp.write(json.dumps(res, ensure_ascii=False))

从Python 3.7开始,以下代码运行良好:

from json import dumpsresult = {"symbol": "ƒ"}json_string = dumps(result, sort_keys=True, indent=2, ensure_ascii=False)print(json_string)

输出:

{"symbol": "ƒ"}

如果您正在从文件加载JSON字符串并且文件内容是阿拉伯语文本,那么这将起作用。

假设一个像arabic.json这样的文件

{"key1": "لمستخدمين","key2": "إضافة مستخدم"}

arabic.json文件中获取阿拉伯语内容

with open(arabic.json, encoding='utf-8') as f:# Deserialises itjson_data = json.load(f)f.close()
# JSON formatted stringjson_data2 = json.dumps(json_data, ensure_ascii = False)

要在Django模板中使用JSON数据,请按照以下步骤操作:

# If have to get the JSON index in a Django template file, then simply decode the encoded string.
json.JSONDecoder().decode(json_data2)

完成!现在我们可以将结果作为带有阿拉伯值的JSON索引获取。

感谢这里的原始答案。使用Python 3编写以下代码行:

print(json.dumps(result_dict,ensure_ascii=False))

可以。如果不是命令式,请考虑不要在代码中编写太多文本。

这对于Python控制台来说可能已经足够了。但是,要满足服务器的要求,您可能需要按照此处解释的方式设置语言环境(如果它在Apache 2上)使用mod_wsgi时设置LANG和LC_ALL

基本上,在Ubuntu上安装he_IL或任何语言语言环境。检查是否已安装:

locale -a

安装它,其中XX是您的语言:

sudo apt-get install language-pack-XX

例如:

sudo apt-get install language-pack-he

将以下文本添加到/etc/apache2/envvrs

export LANG='he_IL.UTF-8'export LC_ALL='he_IL.UTF-8'

那么你希望不会从Apache得到Python错误,比如:

print(js)UnicodeEncodeError:'ascii'编解码器无法对位置41-45中的字符进行编码:序数不在范围内(128)

同样在Apache中,尝试将UTF设为默认编码,如下所述:如何将Apache的默认编码更改为UTF-8

尽早这样做,因为Apache错误可能会让调试变得痛苦,并且您可能会错误地认为它来自Python,而在这种情况下可能并非如此。

使用Unicode转义来解决问题

>>>import json>>>json_string = json.dumps("ברי צקלה")>>>json_string.encode('ascii').decode('unicode-escape')'"ברי צקלה"'

补充说明

>>>s = '漢  χαν  хан'>>>print('Unicode: ' + s.encode('unicode-escape').decode('utf-8'))
Unicode: \u6f22  \u03c7\u03b1\u03bd  \u0445\u0430\u043d
>>>u = s.encode('unicode-escape').decode('utf-8')>>>print('Original: ' + u.encode("utf-8").decode('unicode-escape'))
Original: 漢  χαν  хан

原始资源:Python3使用Unicode转义处理Unicode 16进制字符串编解码问题