无效的延续字节

为什么下面的项目失败了?为什么它成功的“;latin-1”;编解码器?

o = "a test of \xe9 char" #I want this to remain a string as this is what I am receiving
v = o.decode("utf-8")

结果是:

 Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "C:\Python27\lib\encodings\utf_8.py",
line 16, in decode
return codecs.utf_8_decode(input, errors, True) UnicodeDecodeError:
'utf8' codec can't decode byte 0xe9 in position 10: invalid continuation byte
1234897 次浏览
小开

无效UTF-8。该字符是ISO-Latin1中的e-锐角字符，这就是它成功使用该代码集的原因。

如果你不知道你接收字符串的代码集，你就有麻烦了。最好是为您的协议/应用程序选择一个代码集(最好是UTF-8)，然后您就拒绝那些没有解码的代码集。

如果你不能这样做，你就需要启发式。

小开

因为UTF-8是多字节的，并且没有对应于\xe9加上后面空格的组合的字符。

为什么它应该在这两个 utf-8和latin-1中成功?

下面是同一句话在utf-8中的用法:

>>> o.decode('latin-1').encode("utf-8")
'a test of \xc3\xa9 char'
小开
最佳答案

在二进制中，0xE9看起来像1110 1001。如果你读过关于UTF-8在维基百科上的内容，你会发现这样一个字节后面必须跟两个10xx xxxx形式的字节。举个例子:

>>> b'\xe9\x80\x80'.decode('utf-8')
u'\u9000'

但这只是异常的机械原因。在本例中，您的字符串几乎肯定是用latin 1编码的。你可以看到UTF-8和latin 1看起来有什么不同:

>>> u'\xe9'.encode('utf-8')
b'\xc3\xa9'
>>> u'\xe9'.encode('latin-1')
b'\xe9'

(注意，这里我混合使用了Python 2和Python 3的表示法。输入在任何版本的Python中都是有效的，但Python解释器不太可能以这种方式同时显示unicode和字节字符串。)

小开

当我试图通过pandas.read_csv打开CSV文件时，我有同样的错误 方法。< / p >

解决方案是将编码改为latin-1:

pd.read_csv('ml-100k/u.item', sep='|', names=m_cols , encoding='latin-1')
小开

如果在操作刚刚打开的文件时出现此错误，请检查是否以'rb'模式打开它

小开

这也发生在我身上，当我从.txt文件中读取包含希伯来语的文本时。

我单击:file -> save as，并将此文件保存为UTF-8编码

小开

在这种情况下，我尝试执行一个激活路径/file.sql的.py。

我的解决方案是修改文件的编码。sql到“UTF-8不带bomb”;它确实有效!

你可以用notepad++来做。

我会留下一部分代码。

con = psycopg2.connect(host = sys.argv[1],
port = sys.argv[2],dbname = sys.argv[3],user = sys.argv[4], password = sys.argv[5])


cursor = con.cursor()
sqlfile = open(path, 'r')
小开

Utf-8代码错误通常发生在数值范围超过0到127时。

引发这个异常的原因是:

1)如果代码点是<128，每个字节都与码位的值相同。 2)如果编码点为128或更大，则Unicode字符串不能在此编码中表示。(Python在这种情况下会引发UnicodeEncodeError异常)

为了克服这个问题我们有了一套编码，使用最广泛的是“Latin-1，也称为ISO-8859-1”

因此，ISO-8859-1 Unicode点0-255与Latin-1值相同，因此转换为这种编码只需将代码点转换为字节值;如果遇到大于255的码位，则不能将字符串编码为Latin-1

当您试图加载数据集时发生此异常时，请尝试使用此格式

df=pd.read_csv("top50.csv",encoding='ISO-8859-1')

在语法的末尾添加编码技术，然后接受加载数据集。

小开

使用这个，如果它显示UTF-8的错误

pd.read_csv('File_name.csv',encoding='latin-1')
小开

当你在pandas中输入一个特定的文件或数据时，这种类型的错误就会出现:-

data=pd.read_csv('/kaggle/input/fertilizers-by-product-fao/FertilizersProduct.csv)

则错误显示如下:- UnicodeDecodeError: 'utf-8' codec不能解码字节0xf4在位置1:无效的延续字节

因此，为了避免这种类型的错误，可以通过添加参数来删除

data=pd.read_csv('/kaggle/input/fertilizers-by-product-fao/FertilizersProduct.csv', encoding='ISO-8859-1')
小开

解决方案改为“UTF-8 sin bom&”;

小开

我建议在切换编码器以消除错误之前深入调查问题的根源。

我得到这个错误，因为我正在处理大量的zip文件，其中有额外的zip文件。

我的工作流程如下:

  1. 读取zip
  2. 读取子zip
  3. 读取子zip中的文本

在某些时候，我碰到了上面的编码错误。经过仔细检查，发现一些儿童拉链错误地包含了更多的拉链。将这些zip作为文本阅读会导致一些奇怪的字符表示，我可以用encoding="latin-1"使其沉默，但这反过来又会导致进一步的问题。因为我正在处理国际数据，所以假设这是一个编码问题也不是完全愚蠢的(我在0xc2: Â上有问题)，但最终这不是实际的问题。

小开

我遇到了这个问题，原来我直接从谷歌表文件中保存了我的CSV。换句话说，我在一个谷歌表文件中。我选择，保存一个副本，然后当我的浏览器下载它时，我选择了打开。然后直接保存了CSV。这是错误的一步。

对我来说，解决它的方法是首先在我的本地计算机上将表保存为.xlsx文件，然后从那里导出单个表为.csv。然后，pd.read_csv('myfile.csv')的错误消失了


提交答案