UnicodeEncodeError: ‘ ascii’编解码器不能在0位编码字符 u‘ xef’: 序数不在范围内(128)

我想解析我的 XML 文档

class XMLdocs(db.Expando):
id = db.IntegerProperty()
name=db.StringProperty()
content=db.BlobProperty()

下面是我的代码

parser = make_parser()
curHandler = BasketBallHandler()
parser.setContentHandler(curHandler)
for q in XMLdocs.all():
parser.parse(StringIO.StringIO(q.content))

我的错误越来越小了

'ascii' codec can't encode character u'\xef' in position 0: ordinal not in range(128)
Traceback (most recent call last):
File "/base/python_runtime/python_lib/versions/1/google/appengine/ext/webapp/__init__.py", line 517, in __call__
handler.post(*groups)
File "/base/data/home/apps/parsepython/1.348669006354245654/mapreduce/base_handler.py", line 59, in post
self.handle()
File "/base/data/home/apps/parsepython/1.348669006354245654/mapreduce/handlers.py", line 168, in handle
scan_aborted = not self.process_entity(entity, ctx)
File "/base/data/home/apps/parsepython/1.348669006354245654/mapreduce/handlers.py", line 233, in process_entity
handler(entity)
File "/base/data/home/apps/parsepython/1.348669006354245654/parseXML.py", line 71, in process
parser.parse(StringIO.StringIO(q.content))
File "/base/python_runtime/python_dist/lib/python2.5/xml/sax/expatreader.py", line 107, in parse
xmlreader.IncrementalParser.parse(self, source)
File "/base/python_runtime/python_dist/lib/python2.5/xml/sax/xmlreader.py", line 123, in parse
self.feed(buffer)
File "/base/python_runtime/python_dist/lib/python2.5/xml/sax/expatreader.py", line 207, in feed
self._parser.Parse(data, isFinal)
File "/base/data/home/apps/parsepython/1.348669006354245654/parseXML.py", line 136, in characters
print ch
UnicodeEncodeError: 'ascii' codec can't encode character u'\xef' in position 0: ordinal not in range(128)
204653 次浏览
小开
最佳答案

看起来你碰到了一个 UTF-8字节顺序标记(BOM)。尝试使用这个提取出 BOM 的 unicode 字符串:

import codecs


content = unicode(q.content.strip(codecs.BOM_UTF8), 'utf-8')
parser.parse(StringIO.StringIO(content))

我使用了 strip而不是 lstrip，因为在您的例子中有多个 BOM 出现，可能是由于连接的文件内容。

小开

根据您的回溯，问题在于 parseXML.py的第136行的 print语句。不幸的是，您认为不适合发布这部分代码，但我猜它只是用于调试。如果你把它改成:

print repr(ch)

那么你至少应该看到你要打印的东西。

小开

问题是，您试图将 Unicode字符打印到一个可能不是 unicode 的终端。在打印之前，您需要使用 'replace选项对其进行编码，例如 print ch.encode(sys.stdout.encoding, 'replace')。

小开

这个问题的实际最佳答案取决于您的环境，特别是您的终端需要什么样的编码。

最快捷的一行解决方案是将打印的所有内容都编码到 ASCII，终端几乎肯定会接受这种编码，同时丢弃无法打印的字符:

print ch #fails
print ch.encode('ascii', 'ignore')

更好的解决方案是将终端的编码更改为 utf-8，并在打印前将所有内容都编码为 utf-8。您应该养成每次打印或读取字符串时都要考虑 Unicode 编码的习惯。

小开

这对我很有效:

from django.utils.encoding import smart_str
content = smart_str(content)
小开

在 Python 的最新版本中，只需将 .encode('utf-8')放在对象的末尾就可以完成这项工作。

小开

解决这个问题的一个简单方法是将默认编码设置为 utf8

import sys


reload(sys)
sys.setdefaultencoding('utf8')

提交答案