Java 正则表达式高CPU_Java_Regex

Java 正则表达式高CPU

java regex

Java 正则表达式高CPU,java,regex,Java,Regex,我们在生产环境中遇到了CPU利用率为100%的问题，线程转储显示我们的黑名单实现仍停留在以下方面 [11/14/13 10:12:42:745 CST] 0000000d ThreadMonitor W WSVR0605W: Thread "Thread-002" (0000003b) has been active for 604063 milliseconds and may be hung. There is/are 1 thread(s) in total in the serve

我们在生产环境中遇到了CPU利用率为100%的问题，线程转储显示我们的黑名单实现仍停留在以下方面

[11/14/13 10:12:42:745 CST] 0000000d ThreadMonitor W   WSVR0605W: Thread "Thread-002" (0000003b) has been active for 604063 milliseconds and may be hung.  There is/are 1 thread(s) in total in the server that may be hung.
    at java.lang.Character.isLetterOrDigit(Character.java:3516)
    at java.util.regex.Pattern$Bound.check(Pattern.java:4820)
    at java.util.regex.Pattern$Bound.match(Pattern.java:4832)
    at java.util.regex.Pattern$Curly.match0(Pattern.java:3782)
    at java.util.regex.Pattern$Curly.match(Pattern.java:3744)
    at java.util.regex.Pattern$BmpCharProperty.match(Pattern.java:3366)
    at java.util.regex.Pattern$Curly.match0(Pattern.java:3782)
    at java.util.regex.Pattern$Curly.match(Pattern.java:3744)
    at java.util.regex.Matcher.match(Matcher.java:1127)
    at java.util.regex.Matcher.matches(Matcher.java:502)

问题是，这种情况并不总是发生，这意味着它依赖于数据，在我们的黑名单实现中有下面的正则表达式列表

如果有人能告诉我下面哪个正则表达式可能会导致100%的CPU，我将不胜感激

# zero/null bytes 
.*\x00.*

# javascript
.*\bjavascript\b.* &&! ^[\w.,;/*+= -]*\b(:?application/x-javascript|text/javascript)\b[\w.,;/*+= -]*$
# vbscript
.*\bvbscript\b.*

# <script or </script>
.*<\s*/?\s*script\b.*|.*\bscript\s*>.*
# <img or </img>
.*<\s*/?\s*img\b.*|.*\bimg\s*>.*
# <div or </div>
.*<\s*/?\s*div\b.*|.*\bdiv\s*>.*
# <html or </html>
.*<\s*/?\s*html\b.*|.*\bhtml\s*>.*
# <body or </body>
.*<\s*/?\s*body\b.*|.*\bbody\s*>.*
# <link or </link>
.*<\s*/?\s*link\b.*|.*\blink\s*>.* &&! ^<\?xml .*$
# <meta or </meta>
.*<\s*/?\s*meta\b.*|.*\bmeta\s*>.*
# <base or </base>
.*<\s*/?\s*base\b.*|.*\bbase\s*>.*
# <span or </span>
.*<\s*/?\s*span\b.*|.*\bspan\s*>.*
# <input or </input>
.*<\s*/?\s*input\b.*|.*\binput\s*>.*
# <style or </style>
.*<\s*/?\s*style\b.*|.*\bstyle\s*>.*
# <table or </table>
.*<\s*/?\s*table\b.*|.*\btable\s*>.*
# <embed or </embed>
.*<\s*/?\s*embed\b.*|.*\bembed\s*>.*
# <frame or </frame>
.*<\s*/?\s*frame\b.*|.*\bframe\s*>.*
# <iframe or </iframe>
.*<\s*/?\s*iframe\b.*|.*\biframe\s*>.*
# <object or </object>
.*<\s*/?\s*object\b.*|.*\bobject\s*>.*

# < onload= >
.*<.+\bonload\s*=.+>.*
# < onerror= >
.*<.+\bonerror\s*=.+>.*
# < onmouseover= >
.*<.+\bonmouseover\s*=.+>.*
# < src= >
.*<.+\bsrc\s*=.+>.*
# < href= >
.*<.+\bhref\s*=.+>.*
# < style= >
.*<.+\bstyle\s*=.+>.*
# < content= >
.*<.+\bcontent\s*=.+>.*

# document.
.*\bdocument\s*\..+
# element.
.*\belement\s*\..+

# url(
.*\burl\s*\(.+
# eval(
.*\beval\s*\(.+
# alert(
.*\balert\s*\(.+

# /* */
.*/\*.*\*/.*


# HTTP response splitting
.*\bHTTP/\d+\.\d+.+


# Path traversal
#.*\.\.[/\\].*
.*\.\.[/\\]\.\.[/\\].*


# SQL injection (probably not very useful)

# from HttpServletBase.java
.*select\s+\S*\s*from\s+\S+(?:\s+where\s+.+)?.*
.*insert\s+\S*\s*into\s+\S+(?:\s+values\s+.+)?.*
.*update\s+\S*\s*set\s+\S+(?:\s+where\s+.+)?.*
.*delete\s+\S*\s*from\s+\S+(?:\s+where\s+.+)?.*

正如我在评论中所说，正确测试数据是真正知道哪个正则表达式有问题的唯一方法。但我认为有些事情我可以指出，你可以调查。基本上，要小心点运算符

看看：

.*<.+\bonload\s*=.+>.*

此外，根据最快的代码是不运行的代码这一一般原则，在使用正则表达式之前，您可以通过简单的字符串搜索来查看字符串是否包含已加载的字符串。

我可能错了，但正则表达式不会使您免受XSS攻击，因为它们可能非常棘手：。你可能想看看

对于我的项目中的一个类似问题，我提出了一个解决方案，该解决方案将JSoup与解析HTML和正则表达式结合起来，以匹配属性和文本中的字符串。当时我不知道这个OWASP工具。

如何使用这些正则表达式？通过重用模式对象，可以节省大量CPU。是的，我们可以预编译它们。这个问题似乎是基于一些100%CPU耗尽的数据，它并不是一直发生的，所以寻找一些帮助来确定为什么Regex可能会导致问题，例如回溯等。我关于性能的主要论点是，你是唯一一个知道什么是慢的人：找到一些显示问题的数据样本，把它们放在一种单元测试中，然后激活/禁用一些正则表达式，看看哪些是有问题的。我有一次碰到了同样的问题，我处理的表达式非常简单，以至于我可以假设是什么使它变慢。不幸的是，我已经记不得了。我建议你试着用更简单但仍然棘手的表达方式来重现这个问题。另外，您没有提到您使用的是哪个java正则表达式函数和正则表达式修饰符。非常感谢，结果发现其中一个参数包含大量XML，而且XML足够大，并且回溯导致CPU运行速度很高。非常感谢。

.*<[^>]+\bonload\s*=.+>.*