如何替换Java中不可打印的Unicode字符？

以下内容将替换ASCII控制字符（缩写为

[\x00-\x1F\x7F]

）：

以下内容将替换所有ASCII不可打印字符（缩写为

[\p{Graph}\x20]

），包括重音字符：

my_string.replaceAll("[^\\p{Print}]", "?");

---

但是，这两种方法都不适用于Unicode字符串。是否有人有一种从unicode字符串中删除不可打印字符的好方法？

您可能对和感兴趣（不幸的是，后者似乎同时包含不可打印字符和可打印字符）

在Java正则表达式中，可以分别使用

\p{Cc}

和

\p{Cf}

检查它们

my_string.replaceAll("\\p{C}", "?");

---

了解更多关于

java.util.regexpatern

/

String.replaceAll

支持它们。

Op De Cirkel基本上是正确的。他的建议在大多数情况下都有效：

但是如果

myString

可能包含非BMP代码点，那么它就更复杂了

\p{C}

包含

\p{Cs}

的代理代码点。上述替换方法有时只替换代理项对的一半，从而损坏非BMP代码点。这可能是一个Java错误，而不是预期的行为

使用其他组成类别是一种选择：

myString.replaceAll("[\\p{Cc}\\p{Cf}\\p{Co}\\p{Cn}]", "?");

但是，不属于一对的单独代理字符（每个代理字符都有一个指定的代码点）将不会被删除。非正则表达式方法是我所知道的正确处理

\p{C}

的唯一方法：

StringBuilder newString = new StringBuilder(myString.length());
for (int offset = 0; offset < myString.length();)
{
    int codePoint = myString.codePointAt(offset);
    offset += Character.charCount(codePoint);

    // Replace invisible control characters and unused code points
    switch (Character.getType(codePoint))
    {
        case Character.CONTROL:     // \p{Cc}
        case Character.FORMAT:      // \p{Cf}
        case Character.PRIVATE_USE: // \p{Co}
        case Character.SURROGATE:   // \p{Cs}
        case Character.UNASSIGNED:  // \p{Cn}
            newString.append('?');
            break;
        default:
            newString.append(Character.toChars(codePoint));
            break;
    }
}

StringBuilder newString=newstringbuilder（myString.length（））；
对于（int offset=0；offset

我重新设计了电话号码+9（987）124124的代码

公共静态字符串stripNonDigitsV2（字符序列输入）{
如果（输入==null）
返回null；
if（input.length（）==0）
返回“”；
char[]result=新字符[input.length（）]；
int游标=0；
CharBuffer=CharBuffer.wrap（输入）；
int i=0；
而（i39&&chr<58）
结果[cursor++]=chr；
i=i+1；
}
返回新字符串（结果，0，光标）；
}

为实现您的目标而采用的方法

public static String removeNonAscii(String str)
{
    return str.replaceAll("[^\\x00-\\x7F]", "");
}

public static String removeNonPrintable(String str) // All Control Char
{
    return str.replaceAll("[\\p{C}]", "");
}

public static String removeSomeControlChar(String str) // Some Control Char
{
    return str.replaceAll("[\\p{Cntrl}\\p{Cc}\\p{Cf}\\p{Co}\\p{Cn}]", "");
}

public static String removeFullControlChar(String str)
{
    return removeNonPrintable(str).replaceAll("[\\r\\n\\t]", "");
} 

---

我使用了这个简单的函数：

private static Pattern pattern = Pattern.compile("[^ -~]");
private static String cleanTheText(String text) {
    Matcher matcher = pattern.matcher(text);
    if ( matcher.find() ) {
        text = text.replace(matcher.group(0), "");
    }
    return text;
}

---

希望这是有用的。

根据Op De Cirkel和noackjr的答案，以下是我为一般管柱清洁所做的工作：1。修剪前导或尾随空格，2。dos2unix，3。mac2unix，4。删除除空格外的所有“不可见Unicode字符”：

myString.trim.replaceAll（“\r\n”，“\n”）.replaceAll（“\r”，“\n”）.replaceAll（“[\\p{Cc}\\p{Cf}\\p{Co}\\p{Cn}&&[^\\s]”，”）

---

使用Scala REPL进行测试。

我建议删除如下不可打印字符，而不是替换它

private String removeNonBMPCharacters(final String input) {
    StringBuilder strBuilder = new StringBuilder();
    input.codePoints().forEach((i) -> {
        if (Character.isSupplementaryCodePoint(i)) {
            strBuilder.append("?");
        } else {
            strBuilder.append(Character.toChars(i));
        }
    });
    return strBuilder.toString();
}

---

支持的多语言

public static String cleanUnprintableChars(String text, boolean multilanguage)
{
    String regex = multilanguage ? "[^\\x00-\\xFF]" : "[^\\x00-\\x7F]";
    // strips off all non-ASCII characters
    text = text.replaceAll(regex, "");

    // erases all the ASCII control characters
    text = text.replaceAll("[\\p{Cntrl}&&[^\r\n\t]]", "");

    // removes non-printable characters from Unicode
    text = text.replaceAll("\\p{C}", "");

    return text.trim();
}

---

好吧，太糟糕了，java表达式没有它们，但至少我现在得到了列表。。。总比没有好。至少感谢Java1.6，没有对它们的支持。。。我也试过你的行，除了缺少一个反斜杠之外，它显然不起作用；字符串.valueOf（c）.replaceAll（“\\p{c}”，“？”）同样在Unicode支持部分的javadoc for pattern中，表示它支持分类You's right！我道歉。我没有注意到这一点，因为我必须添加Zl Zp类别，因为这些类别主要是问题的来源。它工作得很好。请您对您的帖子进行一个小编辑，这样我可以再次投票吗？还有一些不可见的空白字符（如0x0200B），它们是\p{Zs}组的一部分。不幸的是，这一个也包括正常的空白。对于那些试图筛选不应包含任何空格的输入字符串的人，字符串

s.replaceAll（“[\\p{C}\\p{Z}]”，“”）

将执行该字符。这是我正在寻找的，我正在尝试

replaceAll（“[^\\u0000-\\uFFFF]”，“”）

但没有成功正如附录所示：Unicode通用类别列表可以在@Stewart:hi的可能副本中找到，除了标题之外，你还看了问题/答案吗@斯图尔特：另一个问题只涉及不可打印字符的ascii子集！！！

private static Pattern pattern = Pattern.compile("[^ -~]");
private static String cleanTheText(String text) {
    Matcher matcher = pattern.matcher(text);
    if ( matcher.find() ) {
        text = text.replace(matcher.group(0), "");
    }
    return text;
}

private String removeNonBMPCharacters(final String input) {
    StringBuilder strBuilder = new StringBuilder();
    input.codePoints().forEach((i) -> {
        if (Character.isSupplementaryCodePoint(i)) {
            strBuilder.append("?");
        } else {
            strBuilder.append(Character.toChars(i));
        }
    });
    return strBuilder.toString();
}

public static String cleanUnprintableChars(String text, boolean multilanguage)
{
    String regex = multilanguage ? "[^\\x00-\\xFF]" : "[^\\x00-\\x7F]";
    // strips off all non-ASCII characters
    text = text.replaceAll(regex, "");

    // erases all the ASCII control characters
    text = text.replaceAll("[\\p{Cntrl}&&[^\r\n\t]]", "");

    // removes non-printable characters from Unicode
    text = text.replaceAll("\\p{C}", "");

    return text.trim();
}