例子无效的 utf8字符串？

我正在测试我的一些代码如何处理错误数据，我需要一些无效的 UTF-8字节序列。

你能不能发布一些，理想情况下，解释为什么他们是坏的/你从哪里得到他们？

86293 次浏览
小开
最佳答案

看看 Markus Kuhn 的 UTF-8解码器功能和压力测试文件

您将发现许多 UTF-8不规则的例子，包括单独的起始字节、缺少连续字节、序列过长等。

小开

模糊测试-生成一个随机序列的八位。最有可能的是，你会得到一些非法序列早晚。

小开

在 PHP 中:

$examples = array(
'Valid ASCII' => "a",
'Valid 2 Octet Sequence' => "\xc3\xb1",
'Invalid 2 Octet Sequence' => "\xc3\x28",
'Invalid Sequence Identifier' => "\xa0\xa1",
'Valid 3 Octet Sequence' => "\xe2\x82\xa1",
'Invalid 3 Octet Sequence (in 2nd Octet)' => "\xe2\x28\xa1",
'Invalid 3 Octet Sequence (in 3rd Octet)' => "\xe2\x82\x28",
'Valid 4 Octet Sequence' => "\xf0\x90\x8c\xbc",
'Invalid 4 Octet Sequence (in 2nd Octet)' => "\xf0\x28\x8c\xbc",
'Invalid 4 Octet Sequence (in 3rd Octet)' => "\xf0\x90\x28\xbc",
'Invalid 4 Octet Sequence (in 4th Octet)' => "\xf0\x28\x8c\x28",
'Valid 5 Octet Sequence (but not Unicode!)' => "\xf8\xa1\xa1\xa1\xa1",
'Valid 6 Octet Sequence (but not Unicode!)' => "\xfc\xa1\xa1\xa1\xa1\xa1",
);

来自 http://www.php.net/manual/en/reference.pcre.pattern.modifiers.php#54805

小开

病态字节序列模式的概念可以从病态字节序列表中得到。请参阅 Unicode 标准6.2中的“ 表3-7格式良好的 UTF-8字节序列”。

    Code Points    First Byte Second Byte Third Byte Fourth Byte
U+0000 -   U+007F   00 - 7F
U+0080 -   U+07FF   C2 - DF    80 - BF
U+0800 -   U+0FFF   E0         A0 - BF     80 - BF
U+1000 -   U+CFFF   E1 - EC    80 - BF     80 - BF
U+D000 -   U+D7FF   ED         80 - 9F     80 - BF
U+E000 -   U+FFFF   EE - EF    80 - BF     80 - BF
U+10000 -  U+3FFFF   F0         90 - BF     80 - BF    80 - BF
U+40000 -  U+FFFFF   F1 - F3    80 - BF     80 - BF    80 - BF
U+100000 - U+10FFFF   F4         80 - 8F     80 - BF    80 - BF

下面是 U + 24 B62生成的示例，我用它们做了一个 bug 报告: Bug # 65045 mb _ Convert _ coding 中断格式良好的字符

// U+24B62: "\xF0\xA4\xAD\xA2"
"\xF0\xA4\xAD"    ."\xF0\xA4\xAD\xA2"."\xF0\xA4\xAD\xA2"
"\xF0\xA4\xAD\xA2"."\xF0\xA4\xAD\xA2"."\xF0\xA4\xAD"

在各种库中可以看到对尾随字节范围([0x80,0xBF ])的过度简化。

// U+0800 - U+0FFF
\xE0\x80\x80


// U+D000 - U+D7FF
\xED\xBF\xBF


// U+10000 -  U+3FFFF
\xF0\x80\x80\x80


// U+100000 - U+10FFFF
\xF4\xBF\xBF\xBF
小开

是特别邪恶的。我认为它是结合在 Ubuntu。

逗号

小开

这可能不完全是 OP 所要求的，但它有一定的相关性:

如果你碰巧已经有了字节条件值 (0 - 255)，并且想知道一个字节 # 是否是一个有效的 UTF-8起始点字节，我想出了这个奇怪的统一公式，返回一个 1 (true)或者 0 (false):

function newUTF8start(__) {


return 118^(+__< 194) < (246-__)  }

提交答案