TypeError: 类型为“ byte”的对象不是可序列化的 JSON

我刚开始编写 Python，我想用 scrapy 来创建一个机器人，它显示了 TypeError: 当我运行项目时，类型为‘ byte’的对象不是 JSON 可序列化的。

import json
import codecs


class W3SchoolPipeline(object):


def __init__(self):
self.file = codecs.open('w3school_data_utf8.json', 'wb', encoding='utf-8')


def process_item(self, item, spider):
line = json.dumps(dict(item)) + '\n'
# print line


self.file.write(line.decode("unicode_escape"))
return item

from scrapy.spiders import Spider
from scrapy.selector import Selector
from w3school.items import W3schoolItem


class W3schoolSpider(Spider):


name = "w3school"
allowed_domains = ["w3school.com.cn"]


start_urls = [
"http://www.w3school.com.cn/xml/xml_syntax.asp"
]


def parse(self, response):
sel = Selector(response)
sites = sel.xpath('//div[@id="navsecond"]/div[@id="course"]/ul[1]/li')


items = []
for site in sites:
item = W3schoolItem()
title = site.xpath('a/text()').extract()
link = site.xpath('a/@href').extract()
desc = site.xpath('a/@title').extract()


item['title'] = [t.encode('utf-8') for t in title]
item['link'] = [l.encode('utf-8') for l in link]
item['desc'] = [d.encode('utf-8') for d in desc]
items.append(item)
return items

追溯:

TypeError: Object of type 'bytes' is not JSON serializable
2017-06-23 01:41:15 [scrapy.core.scraper] ERROR: Error processing       {'desc': [b'\x
e4\xbd\xbf\xe7\x94\xa8 XSLT \xe6\x98\xbe\xe7\xa4\xba XML'],
'link': [b'/xml/xml_xsl.asp'],
'title': [b'XML XSLT']}


Traceback (most recent call last):
File
"c:\users\administrator\appdata\local\programs\python\python36\lib\site-p
ackages\twisted\internet\defer.py", line 653, in _runCallbacks
current.result = callback(current.result, *args, **kw)
File "D:\LZZZZB\w3school\w3school\pipelines.py", line 19, in process_item
line = json.dumps(dict(item)) + '\n'
File
"c:\users\administrator\appdata\local\programs\python\python36\lib\json\_
_init__.py", line 231, in dumps
return _default_encoder.encode(obj)
File
"c:\users\administrator\appdata\local\programs\python\python36\lib\json\e
ncoder.py", line 199, in encode
chunks = self.iterencode(o, _one_shot=True)
File
"c:\users\administrator\appdata\local\programs\python\python36\lib\json\e
ncoder.py", line 257, in iterencode
return _iterencode(o, 0)
File
"c:\users\administrator\appdata\local\programs\python\python36\lib\
json\encoder.py", line 180, in default
o.__class__.__name__)
TypeError: Object of type 'bytes' is not JSON serializable
259823 次浏览
小开

你自己创建这些 bytes对象:

item['title'] = [t.encode('utf-8') for t in title]
item['link'] = [l.encode('utf-8') for l in link]
item['desc'] = [d.encode('utf-8') for d in desc]
items.append(item)

每个 t.encode()、 l.encode()和 d.encode()调用都创建一个 bytes字符串。不要这样做，留给 JSON 格式序列化这些。

接下来，您还犯了其他几个错误; 您在没有必要的地方编码过多。让 json模块和 open()调用返回的 标准文件对象来处理编码。

您也不需要将 items列表转换为字典; 它已经是一个可以直接对 JSON 进行编码的对象:

class W3SchoolPipeline(object):
def __init__(self):
self.file = open('w3school_data_utf8.json', 'w', encoding='utf-8')


def process_item(self, item, spider):
line = json.dumps(item) + '\n'
self.file.write(line)
return item

我猜您遵循了一个假定为 Python2的教程，现在您使用的是 Python3。我强烈建议您找到一个不同的教程; 它不仅是为过时的 Python 版本编写的，如果它提倡使用 line.decode('unicode_escape')，那么它就是在教授一些极其糟糕的习惯，这些习惯将导致难以跟踪的 bug。我可以向您推荐有关学习 Python 3的一本好的、免费的书，请参考 想想 Python，第二版。

小开

我今天正在处理这个问题，我知道我有一些编码为字节对象的东西，我正试图用 json.dump(my_json_object, write_to_file.json)将其序列化为 json。在这个例子中，my_json_object是我创建的一个非常大的 json 对象，因此我需要查看几个 dicts、 list 和 string 来查找仍然是字节格式的内容。

我最终解决这个问题的方法是: write_to_file.json将包含导致这个问题的所有内容，包括字节对象。

在我的特殊情况下，这是通过

for line in text:
json_object['line'] = line.strip()

我首先在 write _ to _ file. json 的帮助下找到了这个错误，然后将其更正为:

for line in text:
json_object['line'] = line.strip().decode()
小开

简单地写 <variable name>.decode("utf-8")。

例如:

myvar = b'asdqweasdasd'
myvar.decode("utf-8")
小开

我在处理图像数据时也出现了同样的错误。在 Python 中，在客户端，我读取一个图像文件并将其发送到服务器。我的服务器将二进制数据解码为字节。所以，我只是将字节数据转换成一个字符串来解决我的错误。

image_bytes =  file.read()
data = {"key1": "value1", "key2" :  "value2", "image" : str(image_bytes)}

提交答案