UnicodeEncodeError: ‘ latin-1’codec 无法编码字符

当我试图向数据库中插入外来字符时，是什么导致了这个错误？

>>UnicodeEncodeError: 'latin-1' codec can't encode character u'\u201c' in position 0: ordinal not in range(256)

那我该怎么解决呢？

谢谢！

287580 次浏览
小开

您试图使用无法描述该代码点的编码 ISO-8859-1 / Latin-1来存储 Unicode 代码点 \u201c。您可能需要更改数据库以使用 utf-8，并使用适当的编码来存储字符串数据，或者您可能希望在存储内容之前对输入进行清理; 例如，使用 就像 Sam Ruby 的 i18n 指南一样。讨论了 windows-1252可能导致的问题，并建议如何处理它，以及指向示例代码的链接！

小开

拉丁文 -1(又名 ISO 8859-1)是一个单一的八字符编码字节格式，你不能把 \u201c(“)放入一个字节。

你是想用 UTF-8编码吗？

小开

我希望您的数据库至少是 UTF-8。然后，您将需要运行 yourstring.encode('utf-8')之前，您尝试把它放入数据库。

小开
最佳答案

字符 U + 201C 左双引号在拉丁文 -1(ISO-8859-1)编码中不存在。

它 是在代码页1252(西欧)中出现。这是基于 ISO-8859-1的特定于 Windows 的编码，但是它将额外的字符放入范围0x80-0x9F 中。代码页1252经常与 ISO-8859-1混淆，这是一种恼人但现在已经成为标准的网页浏览器行为，如果你将你的页面设置为 ISO-8859-1，浏览器将把它们设置为 cp1252。然而，它们实际上是两种截然不同的编码方式:

>>> u'He said \u201CHello\u201D'.encode('iso-8859-1')
UnicodeEncodeError
>>> u'He said \u201CHello\u201D'.encode('cp1252')
'He said \x93Hello\x94'

If you are using your database only as a byte store, you can use cp1252 to encode “ and other characters present in the Windows Western code page. But still other Unicode characters which are not present in cp1252 will cause errors.

您可以使用 encode(..., 'ignore')通过去除字符来抑制错误，但实际上在本世纪，您应该在数据库和页面中都使用 UTF-8。这种编码允许使用任何字符。理想情况下，您还应该告诉 MySQL 您正在使用 UTF-8字符串(通过设置数据库连接和字符串列上的排序规则) ，这样它就可以获得不区分大小写的比较和排序。

小开

我在使用 PythonMySQLdb 模块时遇到了同样的问题。由于 MySQL 允许您在文本字段中存储任何您想要的二进制数据，而不管字符集是什么，因此我在这里找到了我的解决方案:

在 Python MySQLdb 中使用 UTF8

编辑: 从上面的 URL 中引用，以满足第一条评论中的请求..。

“ UnicodeEncodeError: ‘ latin-1’codec 无法编码字符...”

This is because MySQLdb normally tries to encode everythin to latin-1. 可以通过执行以下命令来解决这个问题 你已经建立了联系:

db.set_character_set('utf8')
dbc.execute('SET NAMES utf8;')
dbc.execute('SET CHARACTER SET utf8;')
dbc.execute('SET character_set_connection=utf8;')

“ db”是 MySQLdb.connect()的结果，而“ dbc”是 db.cursor().

小开

Python: 您需要添加 #-*-编码: UTF-8-*-(删除周围的空格 *) to the first line of the python file. and then add the following to the text to encode: .encode('ascii', 'xmlcharrefreplace'). This will replace all the unicode characters with it's ASCII equivalent.

小开

最好的解决办法是

  1. 将 mysql 的字符集设置为‘ utf-8’

  2. 喜欢这个注释(添加 use_unicode=True和 charset="utf8")

    Db = MySQLdb.connect (host = “ localhost”，user = “ root”，passwd = “”，db = “ testdb”，use _ unicode = True，charset = “ utf8”)-KyungHoon Kim Mar 13分14秒17分04秒

详见:

class Connection(_mysql.connection):


"""MySQL Database Connection Object"""


default_cursor = cursors.Cursor


def __init__(self, *args, **kwargs):
"""


Create a connection to the database. It is strongly recommended
that you only use keyword parameters. Consult the MySQL C API
documentation for more information.


host
string, host to connect


user
string, user to connect as


passwd
string, password to use


db
string, database to use


port
integer, TCP/IP port to connect to


unix_socket
string, location of unix_socket to use


conv
conversion dictionary, see MySQLdb.converters


connect_timeout
number of seconds to wait before the connection attempt
fails.


compress
if set, compression is enabled


named_pipe
if set, a named pipe is used to connect (Windows only)


init_command
command which is run once the connection is created


read_default_file
file from which default client values are read


read_default_group
configuration group to use from the default file


cursorclass
class object, used to create cursors (keyword only)


use_unicode
If True, text-like columns are returned as unicode objects
using the connection's character set.  Otherwise, text-like
columns are returned as strings.  columns are returned as
normal strings. Unicode objects will always be encoded to
the connection's character set regardless of this setting.


charset
If supplied, the connection character set will be changed
to this character set (MySQL-4.1 and newer). This implies
use_unicode=True.


sql_mode
If supplied, the session SQL mode will be changed to this
setting (MySQL-4.1 and newer). For more details and legal
values, see the MySQL documentation.


client_flag
integer, flags to use or 0
(see MySQL docs or constants/CLIENTS.py)


ssl
dictionary or mapping, contains SSL connection parameters;
see the MySQL documentation for more details
(mysql_ssl_set()).  If this is set, and the client does not
support SSL, NotSupportedError will be raised.


local_infile
integer, non-zero enables LOAD LOCAL INFILE; zero disables


autocommit
If False (default), autocommit is disabled.
If True, autocommit is enabled.
If None, autocommit isn't set and server default is used.


There are a number of undocumented, non-standard methods. See the
documentation for the MySQL C API for some hints on what they do.


"""
小开

SQLAlchemy 用户可以简单地将其字段指定为 convert_unicode=True。

例如: sqlalchemy.String(1000, convert_unicode=True)

SQLAlchemy 将简单地接受 unicode 对象并返回它们，处理编码本身。

Docs

小开

使用下面的代码片段将文本从拉丁语转换为英语

import unicodedata
def strip_accents(text):
return "".join(char for char in
unicodedata.normalize('NFKD', text)
if unicodedata.category(char) != 'Mn')


strip_accents('áéíñóúü')

output:

再见

小开

UnicodeEncodeError: “ latin-1”编解码器不能编码位置为106的字符“ u2013”: 序号不在范围内(256)

解决方案1: U2013-谷歌字符的意思，以确定什么字符实际上造成了这个错误，然后你可以替换特定的字符，在字符串中的一些其他字符，这是编码的一部分，你正在使用。

解决方案2: 将字符串编码更改为包含字符串的所有字符的某种编码。然后你就可以打印那个字符串了，它就可以正常工作了。

下面的代码用于改变字符串的编码，借用自@bobince

 u'He said \u201CHello\u201D'.encode('cp1252')
小开

连接器的最新版本只有

db.set_charset_collation('utf8', 'utf8_general_ci')

也不是

db.set_character_set('utf8') //This feature is not available

提交答案