如何从字符串中剥离非ascii字符?(c#)

如何从字符串中剥离非ascii字符?(c#)

249933 次浏览
小开
最佳答案 
string s = "søme string";
s = Regex.Replace(s, @"[^\u0000-\u007F]+", string.Empty);
小开

下面是一个不使用正则表达式的纯。net解决方案:

string inputString = "Räksmörgås";
string asAscii = Encoding.ASCII.GetString(
Encoding.Convert(
Encoding.UTF8,
Encoding.GetEncoding(
Encoding.ASCII.EncodingName,
new EncoderReplacementFallback(string.Empty),
new DecoderExceptionFallback()
),
Encoding.UTF8.GetBytes(inputString)
)
);

它可能看起来很麻烦，但应该是直观的。它使用。net ASCII编码来转换字符串。在转换过程中使用UTF8，因为它可以表示任何原始字符。它使用EncoderReplacementFallback来将任何非ascii字符转换为空字符串。

小开

受philcruz的正则表达式解决方案的启发，我做了一个纯LINQ解决方案

public static string PureAscii(this string source, char nil = ' ')
{
var min = '\u0000';
var max = '\u007F';
return source.Select(c => c < min ? nil : c > max ? nil : c).ToText();
}


public static string ToText(this IEnumerable<char> source)
{
var buffer = new StringBuilder();
foreach (var c in source)
buffer.Append(c);
return buffer.ToString();
}

这是未经测试的代码。

小开

如果你不想剥离，而是真正地将拉丁重音字符转换为非重音字符，看看这个问题:如何将8位字符转换为7位字符?(即Ü到U)

小开

我用了这个正则表达式:

    string s = "søme string";
Regex regex = new Regex(@"[^a-zA-Z0-9\s]", (RegexOptions)0);
return regex.Replace(s, "");
小开

我发现下面稍微改变的范围对于从数据库中解析注释块很有用，这意味着您不必与制表符和转义字符相争斗，这将导致CSV字段变得混乱。

parsememo = Regex.Replace(parsememo, @"[^\u001F-\u007F]", string.Empty);

如果你想避免其他特殊字符或特定的标点符号，请检查ASCII表

小开

不需要正则表达式。只要使用编码…

sOutput = System.Text.Encoding.ASCII.GetString(System.Text.Encoding.ASCII.GetBytes(sInput));
小开

我相信MonsCamus的意思是:

parsememo = Regex.Replace(parsememo, @"[^\u0020-\u007E]", string.Empty);
小开

这并不是最优的性能，而是一种非常直接的Linq方法:

string strippedString = new string(
yourString.Where(c => c <= sbyte.MaxValue).ToArray()
);

缺点是，所有“幸存”的字符首先被放入char[]类型的数组中，然后在string构造函数不再使用它后将其丢弃。

小开

我来这里寻找扩展ascii字符的解决方案，但找不到。我发现最接近的是bzlm的解决方案。但这只适用于高达127的ASCII码(显然你可以替换他代码中的编码类型，但我认为这有点复杂，难以理解。因此，分享这个版本)。这里有一个适用于扩展ASCII码，即255的解决方案，即ISO 8859 - 1

查找并删除非ascii字符(大于255)

Dim str1 as String= "â, ??î or ôu🕧� n☁i✑💴++$-💯♓!🇪🚑🌚‼⁉4⃣od;/⏬'®;😁☕😁:☝)😁😁///😍1!@#"


Dim extendedAscii As Encoding = Encoding.GetEncoding("ISO-8859-1",
New EncoderReplacementFallback(String.empty),
New DecoderReplacementFallback())


Dim extendedAsciiBytes() As Byte = extendedAscii.GetBytes(str1)


Dim str2 As String = extendedAscii.GetString(extendedAsciiBytes)


console.WriteLine(str2)
'Output : â, ??î or ôu ni++$-!‼⁉4od;/';:)///1!@#$%^yz:

这是一个为代码工作

按照要求替换编码，其余应保持不变。

小开

我使用这个正则表达式来过滤掉文件名中的坏字符。

Regex.Replace(directory, "[^a-zA-Z0-9\\:_\- ]", "")

这应该是文件名所允许的所有字符。

小开
< p > Necromancing。
此外，bzlm的方法可以用来删除不是在任意字符集中的字符，而不仅仅是ASCII:

// https://en.wikipedia.org/wiki/Code_page#EBCDIC-based_code_pages
// https://en.wikipedia.org/wiki/Windows_code_page#East_Asian_multi-byte_code_pages
// https://en.wikipedia.org/wiki/Chinese_character_encoding
System.Text.Encoding encRemoveAllBut = System.Text.Encoding.ASCII;
encRemoveAllBut = System.Text.Encoding.GetEncoding(System.Globalization.CultureInfo.InstalledUICulture.TextInfo.ANSICodePage); // System-encoding
encRemoveAllBut = System.Text.Encoding.GetEncoding(1252); // Western European (iso-8859-1)
encRemoveAllBut = System.Text.Encoding.GetEncoding(1251); // Windows-1251/KOI8-R
encRemoveAllBut = System.Text.Encoding.GetEncoding("ISO-8859-5"); // used by less than 0.1% of websites
encRemoveAllBut = System.Text.Encoding.GetEncoding(37); // IBM EBCDIC US-Canada
encRemoveAllBut = System.Text.Encoding.GetEncoding(500); // IBM EBCDIC Latin 1
encRemoveAllBut = System.Text.Encoding.GetEncoding(936); // Chinese Simplified
encRemoveAllBut = System.Text.Encoding.GetEncoding(950); // Chinese Traditional
encRemoveAllBut = System.Text.Encoding.ASCII; // putting ASCII again, as to answer the question


// https://stackoverflow.com/questions/123336/how-can-you-strip-non-ascii-characters-from-a-string-in-c
string inputString = "RäksmörПривет, мирgås";
string asAscii = encRemoveAllBut.GetString(
System.Text.Encoding.Convert(
System.Text.Encoding.UTF8,
System.Text.Encoding.GetEncoding(
encRemoveAllBut.CodePage,
new System.Text.EncoderReplacementFallback(string.Empty),
new System.Text.DecoderExceptionFallback()
),
System.Text.Encoding.UTF8.GetBytes(inputString)
)
);


System.Console.WriteLine(asAscii);

AND对于那些只想远程重音:
(注意，因为正常化!=拉丁化!=罗马化)

// string str = Latinize("(æøå âôû?aè");
public static string Latinize(string stIn)
{
// Special treatment for German Umlauts
stIn = stIn.Replace("ä", "ae");
stIn = stIn.Replace("ö", "oe");
stIn = stIn.Replace("ü", "ue");


stIn = stIn.Replace("Ä", "Ae");
stIn = stIn.Replace("Ö", "Oe");
stIn = stIn.Replace("Ü", "Ue");
// End special treatment for German Umlauts


string stFormD = stIn.Normalize(System.Text.NormalizationForm.FormD);
System.Text.StringBuilder sb = new System.Text.StringBuilder();


for (int ich = 0; ich < stFormD.Length; ich++)
{
System.Globalization.UnicodeCategory uc = System.Globalization.CharUnicodeInfo.GetUnicodeCategory(stFormD[ich]);


if (uc != System.Globalization.UnicodeCategory.NonSpacingMark)
{
sb.Append(stFormD[ich]);
} // End if (uc != System.Globalization.UnicodeCategory.NonSpacingMark)


} // Next ich




//return (sb.ToString().Normalize(System.Text.NormalizationForm.FormC));
return (sb.ToString().Normalize(System.Text.NormalizationForm.FormKC));
} // End Function Latinize
小开

如果你想要一个只有ISO-8859-1字符并且排除非标准字符的字符串，你应该使用这个表达式:

var result = Regex.Replace(value, @"[^\u0020-\u007E\u00A0-\u00FF]+", string.Empty);

注意:使用Encoding.GetEncoding("ISO-8859-1")方法将不能完成这项工作，因为未定义的字符不排除。

。Net小提琴样本

维基百科ISO-8859-1代码页获取更多详细信息。

小开 
public string ReturnCleanASCII(string s)
{
StringBuilder sb = new StringBuilder(s.Length);
foreach (char c in s)
{
if ((int)c > 127) // you probably don't want 127 either
continue;
if ((int)c < 32)  // I bet you don't want control characters
continue;
if (c == '%')
continue;
if (c == '?')
continue;
sb.Append(c);
}
return sb.ToString();
}

提交答案