Url解码UTF-8在Python

小开

最佳答案

数据是UTF-8编码的字节，用URL引号转义，所以你想要解码，使用urllib.parse.unquote()，它处理从百分比编码的数据解码到UTF-8字节，然后透明地解码到文本:

from urllib.parse import unquote


url = unquote(url)

演示:

>>> from urllib.parse import unquote
>>> url = 'example.com?title=%D0%BF%D1%80%D0%B0%D0%B2%D0%BE%D0%B2%D0%B0%D1%8F+%D0%B7%D0%B0%D1%89%D0%B8%D1%82%D0%B0'
>>> unquote(url)
'example.com?title=правовая+защита'

Python 2的等效函数是urllib.unquote()，但它返回一个字节字符串，所以你必须手动解码:

from urllib import unquote


url = unquote(url).decode('utf8')

小开

如果你使用的是Python 3，你可以使用urllib.parse

url = """example.com?title=%D0%BF%D1%80%D0%B0%D0%B2%D0%BE%D0%B2%D0%B0%D1%8F+%D0%B7%D0%B0%D1%89%D0%B8%D1%82%D0%B0"""


import urllib.parse
urllib.parse.unquote(url)

给:

'example.com?title=правовая+защита'

小开

你也可以用requests库实现预期的结果:

import requests


url = "http://www.mywebsite.org/Data%20Set.zip"


print(f"Before: {url}")
print(f"After:  {requests.utils.unquote(url)}")

输出:

$ python3 test_url_unquote.py


Before: http://www.mywebsite.org/Data%20Set.zip
After:  http://www.mywebsite.org/Data Set.zip

如果你已经在使用requests，而没有使用另一个库来完成这项工作，这可能很方便。

小开

在HTML中url可以包含HTML实体。

#from urllib import unquote #earlier python version
from urllib.request import unquote
from html import unescape
unescape(unquote('https://v.w.xy/p1/p22?userId=xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx&amp;confirmationToken=7uAf%2fxJoxRTFAZdxslCn2uwVR9vV7cYrlHs%2fl9sU%2frix9f9CnVx8uUT%2bu8y1%2fWCs99INKDnfA2ayhGP1ZD0z%2bodXjK9xL5I4gjKR2xp7p8Sckvb04mddf%2fiG75QYiRevgqdMnvd9N5VZp2ksBc83lDg7%2fgxqIwktteSI9RA3Ux9VIiNxx%2fZLe9dZSHxRq9AA'))

小开

我知道这是一个老问题，但我通过谷歌搜索偶然发现了这个问题，并发现没有人提出只有内置功能的解决方案。

所以我很快就写了自己的。

基本上一个url字符串只能包含这些字符:a - z、a - z, 0 - 9 , -, ., _, ~, :, /, ?, #, [, ], @, !, $, & amp ;, ', (, ), *, +, ,, ;, %, =,一切url编码。

URL编码非常直接，只是一个百分号，后面跟着与非法字符的码点对应的字节值的十六进制数字。

所以基本上使用一个简单的while循环来迭代字符，添加任何字符的字节，如果它不是百分号，将index加1，否则添加百分号后面的字节，并将index加3，累积字节并解码它们应该可以完美地工作。

代码如下:

def url_parse(url):
l = len(url)
data = bytearray()
i = 0
while i < l:
if url[i] != '%':
d = ord(url[i])
i += 1
        

else:
d = int(url[i+1:i+3], 16)
i += 3
        

data.append(d)
    

return data.decode('utf8')

我已经测试过了，效果很好。