Java 线程被困在getDeclaredConstructors中的可能原因？_Java_Multithreading_Reflection

Java 线程被困在getDeclaredConstructors中的可能原因？

java multithreading reflection

Java 线程被困在getDeclaredConstructors中的可能原因？,java,multithreading,reflection,Java,Multithreading,Reflection,在我们的应用程序的一次安装中，我们看到用户报告的生产问题是“系统正在变慢”或“请求永不返回”。最后，服务器不得不重新启动。我们发生了几起这样的事件，每晚重启服务器似乎是一种解决办法我们的应用程序大量使用动态类加载（.jar文件作为blob存储在数据库中）和反射。环境详情： Java 1.7.021 操作系统：Linux（2.6.32-504.16.2.el6.x86_64） JBoss EAP 6.2 正在使用Appdynamics 内存和gc设置：-XX:PermSize=256m-XX

在我们的应用程序的一次安装中，我们看到用户报告的生产问题是“系统正在变慢”或“请求永不返回”。最后，服务器不得不重新启动。我们发生了几起这样的事件，每晚重启服务器似乎是一种解决办法

我们的应用程序大量使用动态类加载（.jar文件作为blob存储在数据库中）和反射。环境详情：

Java 1.7.021
操作系统：Linux（2.6.32-504.16.2.el6.x86_64）
JBoss EAP 6.2
正在使用Appdynamics
内存和gc设置：-XX:PermSize=256m-XX:MaxPermSize=2560m-Xms2048m-Xmx10240m-server-XX:+UseParallelGC-XX:+UseParallelOldGC

我们转向了

Java 1.7.080
-XX:+UseG1GC

但看起来我们仍然面临着这个问题

我们在日志文件、heapdump、threadumps和gc日志中看到的情况如下

我们没有看到任何OutOfMemory错误
Heap和PermGend的内存消耗似乎正常（Heap和perm gen未完全使用）
在Java 1.7.021和parallelGC中，我们看到了几个长时间运行（5分钟）的完整GCs—在切换到G1GC之后，这似乎不再发生了（这是我们所期望的）
我们在日志中没有看到任何与CodeCache相关的警告

我们看到的是

对于某些事件，heapdump中的DelegatingClassLoader的数量约为5000，而对于其他事件，则约为100000
在用户最初报告系统速度变慢后，处于可运行状态且正在“getDeclaredConstructors0”上工作的线程数量正在增加（从最初的两个线程增加到大约50个线程。线程似乎在同一位置“挂起”（它们处于可运行状态）数小时

请参阅下面的threadump摘录：

"http-xxx:8443-141" daemon prio=10 tid=0x00007efe9412f000 nid=0x64fb runnable [0x00007efe1ba8a000]
   java.lang.Thread.State: RUNNABLE
    at java.lang.Class.getDeclaredConstructors0(Native Method)
    at java.lang.Class.privateGetDeclaredConstructors(Class.java:2413)
    at java.lang.Class.getConstructor0(Class.java:2723)
    at java.lang.Class.newInstance0(Class.java:345)
    at java.lang.Class.newInstance(Class.java:327)
    at sun.reflect.MethodAccessorGenerator$1.run(MethodAccessorGenerator.java:399)
    at sun.reflect.MethodAccessorGenerator$1.run(MethodAccessorGenerator.java:396)
    at java.security.AccessController.doPrivileged(Native Method)
    at sun.reflect.MethodAccessorGenerator.generate(MethodAccessorGenerator.java:395)
    at sun.reflect.MethodAccessorGenerator.generateMethod(MethodAccessorGenerator.java:77)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:46)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:601)
    [application code]

"http-xxx:8443-138" daemon prio=10 tid=0x00007efe9412a000 nid=0x64ed runnable [0x00007efe1c397000]
   java.lang.Thread.State: RUNNABLE
    at java.lang.Class.getDeclaredConstructors0(Native Method)
    at java.lang.Class.privateGetDeclaredConstructors(Class.java:2413)
    at java.lang.Class.getConstructor0(Class.java:2723)
    at java.lang.Class.newInstance0(Class.java:345)
    at java.lang.Class.newInstance(Class.java:327)
    at sun.reflect.MethodAccessorGenerator$1.run(MethodAccessorGenerator.java:399)
    at sun.reflect.MethodAccessorGenerator$1.run(MethodAccessorGenerator.java:396)
    at java.security.AccessController.doPrivileged(Native Method)
    at sun.reflect.MethodAccessorGenerator.generate(MethodAccessorGenerator.java:395)
    at sun.reflect.MethodAccessorGenerator.generateMethod(MethodAccessorGenerator.java:77)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:46)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:601)
    at org.mvel2.PropertyAccessor.set(PropertyAccessor.java:350)
    at org.mvel2.PropertyAccessor.set(PropertyAccessor.java:134)
    at org.mvel2.MVEL.setProperty(MVEL.java:1088)   
    [application code]

更新到Java 1.7.80/G1Gc后的情况似乎类似。不幸的是，没有可用的threadump，只有日志中的wicket警告）

2016-03-10 15:00:39009警告[http xxx:7443-23]org.apache.wicket.page.PageAccessSynchronizer:线程“http xxx:7443-23”无法获取id为“28”的页面锁定，在允许的3分钟内尝试了3分钟。持有锁的线程的名称为“http xxx:7443-18”。
2016-03-10 15:00:39017警告[http xxx:7443-23]org.apache.wicket.page.PageAccessSynchronizer:“http xxx:7443-18”守护进程prio=5 tid=8950 state=RUNNABLE
org.apache.wicket.util.lang.Threads$ThreadDump
位于java.lang.Class.getDeclaredConstructors0（本机方法）
位于java.lang.Class.privateGetDeclaredConstructors（Class.java:2595）
位于java.lang.Class.getConstructor0（Class.java:2895）
位于java.lang.Class.newInstance（Class.java:354）
在sun.reflect.MethodAccessorGenerator$1.run（MethodAccessorGenerator.java:399）
在sun.reflect.MethodAccessorGenerator$1.run（MethodAccessorGenerator.java:396）
位于java.security.AccessController.doPrivileged（本机方法）
在sun.reflect.MethodAccessorGenerator.generate（MethodAccessorGenerator.java:395）中
在sun.reflect.MethodAccessorGenerator.generateSerializationConstructor（MethodAccessorGenerator.java:113）中
位于sun.reflect.ReflectionFactory.newConstructorForSerialization（ReflectionFactory.java:331）
位于java.io.ObjectStreamClass.getSerializableConstructor（ObjectStreamClass.java:1376）
在java.io.ObjectStreamClass.access$1500（ObjectStreamClass.java:72）
在java.io.ObjectStreamClass$2.run（ObjectStreamClass.java:493）
在java.io.ObjectStreamClass$2.run（ObjectStreamClass.java:468）
位于java.security.AccessController.doPrivileged（本机方法）
位于java.io.ObjectStreamClass。（ObjectStreamClass.java:468）
位于java.io.ObjectStreamClass.lookup（ObjectStreamClass.java:365）
位于java.io.ObjectOutputStream.WriteObject 0（ObjectOutputStream.java:1133）
位于java.io.ObjectOutputStream.writeObject（ObjectOutputStream.java:347）
[申请代码]
2016-03-10 15:04:14640警告[http xxx:7443-16]org.apache.wicket.page.PageAccessSynchronizer:线程“http xxx:7443-16”无法获取id为“11”的页面锁定，在允许的3分钟内尝试了3分钟。持有锁的线程的名称为“http xxx:7443-38”。
2016-03-10 15:04:14642警告[http xxx:7443-16]org.apache.wicket.page.PageAccessSynchronizer:“http xxx:7443-38”守护进程prio=5 tid=9088 state=RUNNABLE
org.apache.wicket.util.lang.Threads$ThreadDump
位于java.lang.Class.getDeclaredConstructors0（本机方法）
位于java.lang.Class.privateGetDeclaredConstructors（Class.java:2595）
位于java.lang.Class.getConstructor0（Class.java:2895）
位于java.lang.Class.newInstance（Class.java:354）
在sun.reflect.MethodAccessorGenerator$1.run（MethodAccessorGenerator.java:399）
在sun.reflect.MethodAccessorGenerator$1.run（MethodAccessorGenerator.java:396）
位于java.security.AccessController.doPrivileged（本机方法）
在sun.reflect.MethodAccessorGenerator.generate（MethodAccessorGenerator.java:395）中
在sun.reflect.MethodAccessorGenerator.generateMethod（MethodAccessorGenerator.java:77）中
在sun.reflect.NativeMethodAccessorImpl.invoke（NativeMethodAccessorImpl.java:46）中
在sun.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:43）中
位于java.lang.reflect.Method.invoke（Method.java:606）
[申请代码]

我们目前无法复制这一点（仍在努力）。但也许社区中有人看到过类似的事情，并且有了一个想法，那就是什么可以帮助我们重现或解决这些问题。我们目前的一个猜测是，这与本机内存消耗有关（因为类似的信息），但我们在日志中没有看到这方面的任何提示（没有OutOfMemory错误，没有linux管理员报告系统正在耗尽内存）

2016-03-10 15:00:39,009 WARN  [http-xxx:7443-23] org.apache.wicket.page.PageAccessSynchronizer: Thread 'http-xxx:7443-23' failed to acquire lock to page with id '28', attempted for 3 minutes out of allowed 3 minutes. The thread that holds the lock has name 'http-xxx:7443-18'.
2016-03-10 15:00:39,017 WARN  [http-xxx:7443-23] org.apache.wicket.page.PageAccessSynchronizer: "http-xxx:7443-18" daemon prio=5 tid=8950 state=RUNNABLE 
org.apache.wicket.util.lang.Threads$ThreadDump
    at java.lang.Class.getDeclaredConstructors0(Native Method)
    at java.lang.Class.privateGetDeclaredConstructors(Class.java:2595)
    at java.lang.Class.getConstructor0(Class.java:2895)
    at java.lang.Class.newInstance(Class.java:354)
    at sun.reflect.MethodAccessorGenerator$1.run(MethodAccessorGenerator.java:399)
    at sun.reflect.MethodAccessorGenerator$1.run(MethodAccessorGenerator.java:396)
    at java.security.AccessController.doPrivileged(Native Method)
    at sun.reflect.MethodAccessorGenerator.generate(MethodAccessorGenerator.java:395)
    at sun.reflect.MethodAccessorGenerator.generateSerializationConstructor(MethodAccessorGenerator.java:113)
    at sun.reflect.ReflectionFactory.newConstructorForSerialization(ReflectionFactory.java:331)
    at java.io.ObjectStreamClass.getSerializableConstructor(ObjectStreamClass.java:1376)
    at java.io.ObjectStreamClass.access$1500(ObjectStreamClass.java:72)
    at java.io.ObjectStreamClass$2.run(ObjectStreamClass.java:493)
    at java.io.ObjectStreamClass$2.run(ObjectStreamClass.java:468)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.io.ObjectStreamClass.<init>(ObjectStreamClass.java:468)
    at java.io.ObjectStreamClass.lookup(ObjectStreamClass.java:365)
    at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:1133)
    at java.io.ObjectOutputStream.writeObject(ObjectOutputStream.java:347)
    [application code]

2016-03-10 15:04:14,640 WARN  [http-xxx:7443-16] org.apache.wicket.page.PageAccessSynchronizer: Thread 'http-xxx:7443-16' failed to acquire lock to page with id '11', attempted for 3 minutes out of allowed 3 minutes. The thread that holds the lock has name 'http-xxx:7443-38'.
2016-03-10 15:04:14,642 WARN  [http-xxx:7443-16] org.apache.wicket.page.PageAccessSynchronizer: "http-xxx:7443-38" daemon prio=5 tid=9088 state=RUNNABLE 
org.apache.wicket.util.lang.Threads$ThreadDump
    at java.lang.Class.getDeclaredConstructors0(Native Method)
    at java.lang.Class.privateGetDeclaredConstructors(Class.java:2595)
    at java.lang.Class.getConstructor0(Class.java:2895)
    at java.lang.Class.newInstance(Class.java:354)
    at sun.reflect.MethodAccessorGenerator$1.run(MethodAccessorGenerator.java:399)
    at sun.reflect.MethodAccessorGenerator$1.run(MethodAccessorGenerator.java:396)
    at java.security.AccessController.doPrivileged(Native Method)
    at sun.reflect.MethodAccessorGenerator.generate(MethodAccessorGenerator.java:395)
    at sun.reflect.MethodAccessorGenerator.generateMethod(MethodAccessorGenerator.java:77)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:46)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606) 
    [application code]