Java 如何测量线程堆栈深度？
我有一个32位的Java服务，它存在可伸缩性问题：由于用户数量高，我们的内存会因为线程数量过多而耗尽。从长远来看，我计划切换到64位，并降低每用户线程数的比率。在短期内，我想减少堆栈大小（-Xss，-XX:ThreadStackSize）以获得更多的空间。但这是有风险的，因为如果我把它做得太小，我会得到StackOverflowers错误 我如何测量应用程序的平均和最大堆栈大小，以指导我选择最佳-Xss值？我对两种可能的方法感兴趣：Java 如何测量线程堆栈深度？,java,multithreading,profiling,Java,Multithreading,Profiling,我有一个32位的Java服务，它存在可伸缩性问题：由于用户数量高，我们的内存会因为线程数量过多而耗尽。从长远来看，我计划切换到64位，并降低每用户线程数的比率。在短期内，我想减少堆栈大小（-Xss，-XX:ThreadStackSize）以获得更多的空间。但这是有风险的，因为如果我把它做得太小，我会得到StackOverflowers错误 我如何测量应用程序的平均和最大堆栈大小，以指导我选择最佳-Xss值？我对两种可能的方法感兴趣： 在集成测试期间测量正在运行的JVM。哪些分析工具将报告最大堆栈
更新2：我得到了一个关于JProfiler的相关问题的好答案：（我根据JProfiler的社区支持建议发布了单独的问题）我会在测试环境中减少
-Xss仅仅切换到64位操作系统可以为应用程序提供更多的内存，因为大多数32位操作系统只允许每个应用程序使用大约1.5 GB的内存，但是64位操作系统上的32位应用程序最多可以使用3-3.5 GB的内存，具体取决于操作系统。Java VM中没有现成可用的工具来查询以字节为单位的堆栈深度。但是你可以到达那里。以下是一些要点：
- 异常包含堆栈帧数组，它提供了调用的方法
- 对于每个方法，都可以在
文件中找到。此属性包含字段.class
中每个方法的帧大小max\u stack
HashMapmax\u堆栈作为值。创建一个可丢弃的，使用getStackTrace（）
从中获取堆栈帧，然后迭代StackTraceElement
s
注:
操作数堆栈上的每个条目都可以保存任何Java虚拟机类型的值，包括long或double类型的值
因此，每个堆栈条目可能是64位，因此您需要将max_stack
乘以8以获得字节。您可以通过一个方面了解堆栈深度，该方面可以编织到您的代码中（load time weaver允许通知除系统类加载程序外的所有加载代码）。方面将围绕所有执行的代码工作，并且能够注意到何时调用方法以及何时返回。您可以使用它来捕获大部分堆栈使用情况（您将错过从系统类加载器加载的任何内容，例如java.*）。虽然并不完美，但它避免了在采样点更改代码以收集StackTraceElement[]，还可以让您进入可能没有编写的非jdk代码
例如（aspectj）：
速度非常慢，并且有自己的内存问题，但是可以获得所需的堆栈信息
然后，可以对堆栈跟踪中的每个方法使用max_堆栈和max_局部变量来计算该方法的帧大小（请参见）。基于此，我认为这应该是（max_stack+max_locals）*4字节，表示方法的最大帧大小（long/double占用操作数堆栈/局部变量上的两个条目，并计入max_stack和max_locals）
如果调用堆栈中没有那么多，您可以轻松地javap感兴趣的类并查看帧值。类似的东西为您提供了一些简单的工具，可以在更大范围内使用它们
一旦计算出这个值，就需要估计JDK类在最大堆栈点可能被调用的额外堆栈帧，并将其添加到堆栈大小中。它可能并不完美，但它应该为-Xss调优提供一个良好的起点，而不必绕过JVM/JDK
另一个注意事项：我不知道JIT/OSR对帧大小或堆栈要求有什么影响，所以请注意，在冷JVM和热JVM上进行-Xss调优可能会产生不同的影响
EDIT有几个小时的停机时间，并采用了另一种方法。这是一个java代理，它将检测方法以跟踪最大堆栈帧大小和堆栈深度。这将能够为大多数jdk类以及其他代码和库提供工具，从而提供比aspect weaver更好的结果。您需要asm v4才能正常工作。这更多的是为了好玩，所以将此文件归档在plinkingjava下是为了好玩，而不是为了利润
首先，制作一些东西来跟踪堆栈帧的大小和深度：
package phil.agent;
public class MaxStackLog {
private static ThreadLocal<Integer> curStackSize =
new ThreadLocal<Integer> () {
@Override
protected Integer initialValue () {
return 0;
}
};
private static ThreadLocal<Integer> curStackDepth =
new ThreadLocal<Integer> () {
@Override
protected Integer initialValue () {
return 0;
}
};
private static ThreadLocal<Boolean> ascending =
new ThreadLocal<Boolean> () {
@Override
protected Boolean initialValue () {
return true;
}
};
private static ConcurrentHashMap<Long, Integer> maxSizes =
new ConcurrentHashMap<Long, Integer> ();
private static ConcurrentHashMap<Long, Integer> maxDepth =
new ConcurrentHashMap<Long, Integer> ();
private MaxStackLog () { }
public static void enter ( int frameSize ) {
ascending.set ( true );
curStackSize.set ( curStackSize.get () + frameSize );
curStackDepth.set ( curStackDepth.get () + 1 );
}
public static void exit ( int frameSize ) {
int cur = curStackSize.get ();
int curDepth = curStackDepth.get ();
if ( ascending.get () ) {
long id = Thread.currentThread ().getId ();
Integer max = maxSizes.get ( id );
if ( max == null || cur > max ) {
maxSizes.put ( id, cur );
}
max = maxDepth.get ( id );
if ( max == null || curDepth > max ) {
maxDepth.put ( id, curDepth );
}
}
ascending.set ( false );
curStackSize.set ( cur - frameSize );
curStackDepth.set ( curDepth - 1 );
}
public static void dumpMax () {
int max = 0;
for ( int i : maxSizes.values () ) {
max = Math.max ( i, max );
}
System.out.println ( "Max stack frame size accummulated: " + max );
max = 0;
for ( int i : maxDepth.values () ) {
max = Math.max ( i, max );
}
System.out.println ( "Max stack depth: " + max );
}
}
最后，将以下内容添加到要插入指令的程序的java命令行中：
-javaagent:path/to/Agent.jar
您还需要将asm-all-4.0.jar与Agent.jar放在同一目录中（或者更改清单中的引导类路径以引用该位置）
示例输出可能是：
Max stack frame size accummulated: 44140
Max stack depth: 1004
这一切都有点粗糙，但对我来说是可行的
注意：堆栈帧大小不是总堆栈大小（仍然不知道如何获得该大小）。实际上，线程堆栈有各种开销。我发现我通常需要报告的堆栈最大帧大小的2到3倍作为-Xss值。哦，并且在添加到你的堆栈大小要求时，一定要在没有代理加载的情况下进行-XSS调优。你应该考虑切换到异步模式。系统中的线程数超过CPU核数没有任何意义。@VladLazarenko-同意。正如我所说，我
package phil.agent;
public class Agent {
public static void premain ( String agentArguments, Instrumentation ins ) {
try {
ins.appendToBootstrapClassLoaderSearch (
new JarFile (
new File ( "path/to/Agent.jar" ) ) );
} catch ( IOException e ) {
e.printStackTrace ();
}
ins.addTransformer ( new Transformer (), true );
Class<?>[] classes = ins.getAllLoadedClasses ();
int len = classes.length;
for ( int i = 0; i < len; i++ ) {
Class<?> clazz = classes[i];
String name = clazz != null ? clazz.getCanonicalName () : null;
try {
if ( name != null && !clazz.isArray () && !clazz.isPrimitive ()
&& !clazz.isInterface ()
&& !name.equals ( "java.lang.Long" )
&& !name.equals ( "java.lang.Boolean" )
&& !name.equals ( "java.lang.Integer" )
&& !name.equals ( "java.lang.Double" )
&& !name.equals ( "java.lang.Float" )
&& !name.equals ( "java.lang.Number" )
&& !name.equals ( "java.lang.Class" )
&& !name.equals ( "java.lang.Byte" )
&& !name.equals ( "java.lang.Void" )
&& !name.equals ( "java.lang.Short" )
&& !name.equals ( "java.lang.System" )
&& !name.equals ( "java.lang.Runtime" )
&& !name.equals ( "java.lang.Compiler" )
&& !name.equals ( "java.lang.StackTraceElement" )
&& !name.startsWith ( "java.lang.ThreadLocal" )
&& !name.startsWith ( "sun." )
&& !name.startsWith ( "java.security." )
&& !name.startsWith ( "java.lang.ref." )
&& !name.startsWith ( "java.lang.ClassLoader" )
&& !name.startsWith ( "java.util.concurrent.atomic" )
&& !name.startsWith ( "java.util.concurrent.ConcurrentHashMap" )
&& !name.startsWith ( "java.util.concurrent.locks." )
&& !name.startsWith ( "phil.agent." ) ) {
ins.retransformClasses ( clazz );
}
} catch ( Throwable e ) {
System.err.println ( "Cant modify: " + name );
}
}
Runtime.getRuntime ().addShutdownHook ( new Thread () {
@Override
public void run () {
MaxStackLog.dumpMax ();
}
} );
}
}
public class Transformer implements ClassFileTransformer {
@Override
public byte[] transform ( ClassLoader loader,
String className, Class<?> classBeingRedefined,
ProtectionDomain protectionDomain, byte[] classfileBuffer )
throws IllegalClassFormatException {
if ( className.startsWith ( "phil/agent" ) ) {
return classfileBuffer;
}
byte[] result = classfileBuffer;
ClassReader reader = new ClassReader ( classfileBuffer );
MaxStackClassVisitor maxCv = new MaxStackClassVisitor ( null );
reader.accept ( maxCv, ClassReader.SKIP_DEBUG );
ClassWriter writer = new ClassWriter ( ClassWriter.COMPUTE_FRAMES );
ClassVisitor visitor =
new CallStackClassVisitor ( writer, maxCv.frameMap, className );
reader.accept ( visitor, ClassReader.SKIP_DEBUG );
result = writer.toByteArray ();
return result;
}
}
public class MaxStackClassVisitor extends ClassVisitor {
Map<String, Integer> frameMap = new HashMap<String, Integer> ();
public MaxStackClassVisitor ( ClassVisitor v ) {
super ( Opcodes.ASM4, v );
}
@Override
public MethodVisitor visitMethod ( int access, String name,
String desc, String signature,
String[] exceptions ) {
return new MaxStackMethodVisitor (
super.visitMethod ( access, name, desc, signature, exceptions ),
this, ( access + name + desc + signature ) );
}
}
public class MaxStackMethodVisitor extends MethodVisitor {
final MaxStackClassVisitor cv;
final String name;
public MaxStackMethodVisitor ( MethodVisitor mv,
MaxStackClassVisitor cv, String name ) {
super ( Opcodes.ASM4, mv );
this.cv = cv;
this.name = name;
}
@Override
public void visitMaxs ( int maxStack, int maxLocals ) {
cv.frameMap.put ( name, ( maxStack + maxLocals ) * 4 );
super.visitMaxs ( maxStack, maxLocals );
}
}
public class CallStackClassVisitor extends ClassVisitor {
final Map<String, Integer> frameSizes;
final String className;
public CallStackClassVisitor ( ClassVisitor v,
Map<String, Integer> frameSizes, String className ) {
super ( Opcodes.ASM4, v );
this.frameSizes = frameSizes;
this.className = className;
}
@Override
public MethodVisitor visitMethod ( int access, String name,
String desc, String signature, String[] exceptions ) {
MethodVisitor m = super.visitMethod ( access, name, desc,
signature, exceptions );
return new CallStackMethodVisitor ( m,
frameSizes.get ( access + name + desc + signature ) );
}
}
public class CallStackMethodVisitor extends MethodVisitor {
final int size;
public CallStackMethodVisitor ( MethodVisitor mv, int size ) {
super ( Opcodes.ASM4, mv );
this.size = size;
}
@Override
public void visitCode () {
visitIntInsn ( Opcodes.SIPUSH, size );
visitMethodInsn ( Opcodes.INVOKESTATIC, "phil/agent/MaxStackLog",
"enter", "(I)V" );
super.visitCode ();
}
@Override
public void visitInsn ( int inst ) {
switch ( inst ) {
case Opcodes.ARETURN:
case Opcodes.DRETURN:
case Opcodes.FRETURN:
case Opcodes.IRETURN:
case Opcodes.LRETURN:
case Opcodes.RETURN:
case Opcodes.ATHROW:
visitIntInsn ( Opcodes.SIPUSH, size );
visitMethodInsn ( Opcodes.INVOKESTATIC,
"phil/agent/MaxStackLog", "exit", "(I)V" );
break;
default:
break;
}
super.visitInsn ( inst );
}
}
Manifest-Version: 1.0
Premain-Class: phil.agent.Agent
Boot-Class-Path: asm-all-4.0.jar
Can-Retransform-Classes: true
-javaagent:path/to/Agent.jar
Max stack frame size accummulated: 44140
Max stack depth: 1004