在Java堆之外分配的巨大内存

我有一个java程序作为服务器运行。Java版本是Java6u35。操作系统是CentOS 6

堆配置是

-Xmx3g-Xms3g

。经过几天的运行，它分配了超过8G的内存，实际使用了超过6G的内存

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                        
26955 deploy    15   0 8347m 6.0g  10m S 30.9 25.5   3730:12 java 

额外的内存肯定是外部堆内存。 使用pmap，我得到了以下内容。单位为k。整个输出超出了stackoverflow问题体的限制，所以我删除了一些小的限制。从尺寸1016k开始。（有300多行具有类似内容

地址1016 rwx--[anon]

）：

使用此工具检查直接内存使用情况：

所以直接内存不会太大。

3276800

是java堆。但找不到需要数百MB内存的用户

此服务器程序使用hadoop客户端、hbase客户端向hadoop和hbase写入数据。java堆本身运行良好

---

任何线索都将不胜感激

找到了一个解决方案，但原因仍然不明。添加

-XX:MaxDirectMemorySize=1024m

后，它可以工作

似乎堆外内存的JavaGC（MOH）不如堆GC智能

猜测的原因是，当MOH使用率达到某个水平（可能为50%）时，会触发MOH的java gc。因此在此之前，它只会将内存标记为已释放，而不会实际释放内存。即使是系统也只有很少的内存

默认情况下，XX:MaxDirectMemorySize很大，即使使用率为50%，系统也会关闭

因此，在加入此限制后，很容易达到阈值，并且MOH可以及时释放

---

因此

1024m

适用于我的应用程序。它足够大，可以让应用程序运行，但不会太大而导致系统崩溃。

它是由操作系统管理的缓冲区还是缓存相关内存？这是多线程应用程序吗？你可以进行一次线程转储，看看你有多少线程（kill-3）？看到这个问题了吗？我记得，操作系统管理的缓冲区不会计入应用程序的内存使用量。是的，服务器运行了数百个线程。这与1016kb的anon匹配。谢谢你的提示~！有一些[anon]分配了X00 MB内存。我想这就是漏洞。。。

addres             size(kB) 
0000000063ba3000    1,016   rwx--   [anon]   (over 300 similar lines omitted)
00002aaaaaac3000    1,020   -----   /usr/java/jdk1.6.0_35/jre/lib/amd64/libverify.so
00002aaaaabee000    1,020   -----   /usr/java/jdk1.6.0_35/jre/lib/amd64/libjava.so
00002aaaaad2c000    1,020   -----   /usr/java/jdk1.6.0_35/jre/lib/amd64/libjdwp.so
00002aaaaae38000    1,020   -----   /usr/java/jdk1.6.0_35/jre/lib/amd64/libnpt.so
00002aaab76b1000    1,020   -----   /usr/java/jdk1.6.0_35/jre/lib/amd64/libdt_socket.so
00002aaab77b8000    1,020   -----   /usr/java/jdk1.6.0_35/jre/lib/amd64/libmanagement.so
00002aaab842b000    1,020   -----   /usr/java/jdk1.6.0_35/jre/lib/amd64/libnio.so
00002aaab8748000    1,020   -----   /usr/java/jdk1.6.0_35/jre/lib/amd64/libjaas_unix.so
00002aab87519000    1,020   -----   /usr/java/jdk1.6.0_35/jre/lib/amd64/librmi.so
00000000411ec000    1,024   rwx--   [anon]
00000000412ed000    1,024   rwx--   [anon]
0000000041ad8000    1,024   rwx--   [anon]
0000000041bd9000    1,024   rwx--   [anon]
0000000041cda000    1,024   rwx--   [anon]
0000000041ddb000    1,024   rwx--   [anon]
0000000041edc000    1,024   rwx--   [anon]
0000000041fdd000    1,024   rwx--   [anon]
00000000420de000    1,024   rwx--   [anon]
00000000421df000    1,024   rwx--   [anon]
4.22E+02    1,024   rwx--   [anon]
00000000423e1000    1,024   rwx--   [anon]
00000000428e6000    1,024   rwx--   [anon]
00002b66d5a07000    1,024   -----   /usr/java/jdk1.6.0_35/jre/lib/amd64/server/libjvm.so
00002aaab78cc000    1,028   -----   /usr/java/jdk1.6.0_35/jre/lib/amd64/libnet.so
00002b66d4fe5000    1,028   -----   /usr/java/jdk1.6.0_35/jre/lib/amd64/jli/libjli.so
00002aaaae72f000    1,032   -----   /usr/java/jdk1.6.0_35/jre/lib/amd64/libzip.so
00002aab83efd000    1,036   -----   [anon]
00002aabbfefd000    1,036   -----   [anon]
00000038b5600000    1,340   r-x--   /lib64/libc-2.5.so
00002aaacfe95000    1,452   -----   [anon]
00002aaab74e3000    1,628   r-xs-   /usr/java/jdk1.6.0_35/jre/lib/rt.jar
00002b66d5b07000    1,752   rwx--   /usr/java/jdk1.6.0_35/jre/lib/amd64/server/libjvm.so
00000038b574f000    2,044   -----   /lib64/libc-2.5.so
00000038b5e16000    2,044   -----   /lib64/libpthread-2.5.so
00000038b6a82000    2,044   -----   /lib64/libm-2.5.so
00000038b9a15000    2,044   -----   /lib64/libnsl-2.5.so
00002aaaae520000    2,044   -----   /lib64/libnss_files-2.5.so
00002aaab8223000    2,044   -----   /lib64/libnss_dns-2.5.so
00000038b5a02000    2,048   -----   /lib64/libdl-2.5.so
00000038b7207000    2,048   -----   /lib64/librt-2.5.so
00000038b8211000    2,048   -----   /lib64/libresolv-2.5.so
00002aaab8546000    2,048   -----   /SERVER/lib/native/libhadoop.so
00002aaab79d0000    3,076   rwx--   [anon]
00002aabd3b22000    4,984   -----   [anon]
00002aaab18f5000    6,400   rwx--   [anon]
00002aaaae834000    7,940   rwx--   [anon]
ffffffffff600000    8,192   -----   [anon]
00002b66d50eb000    9,328   r-x--   /usr/java/jdk1.6.0_35/jre/lib/amd64/server/libjvm.so
00002aaac8000000    18,180  rwx--   [anon]
00002aabcc000000    28,724  rwx--   [anon]
00002aabcdc0d000    36,812  -----   [anon]
00002aaaaeff5000    41,216  rwx--   [anon]
00002aaac91c1000    47,356  -----   [anon]
00002aab84000000    54,368  rwx--   [anon]
00002aaaaaf38000    55,120  r-x--   /usr/lib/locale/locale-archive
00002aaab884c000    56,784  rwx--   [anon]
00002aabd0000000    60,552  rwx--   [anon]
00002aaacc000000    64,084  rwx--   [anon]
00002aab80000000    64,500  rwx--   [anon]
00002aabbc000000    64,500  rwx--   [anon]
00002aab14000000    64,576  rwx--   [anon]
00002aab64000000    64,584  rwx--   [anon]
00002aab90000000    64,668  rwx--   [anon]
00002aabac000000    64,684  rwx--   [anon]
00002aab88000000    64,692  rwx--   [anon]
00002aabc4000000    64,716  rwx--   [anon]
00002aab18000000    64,836  rwx--   [anon]
00002aab48000000    64,868  rwx--   [anon]
00002aabc0000000    64,896  rwx--   [anon]
00002aabb4000000    64,936  rwx--   [anon]
00002aabb8000000    64,948  rwx--   [anon]
00002aab94000000    64,976  rwx--   [anon]
00002aab1c000000    65,008  rwx--   [anon]
00002aabb0000000    65,020  rwx--   [anon]
00002aaaf8000000    65,032  rwx--   [anon]
00002aaabc000000    65,152  rwx--   [anon]
00002aab98000000    65,184  rwx--   [anon]
00002aaba0000000    65,320  rwx--   [anon]
00002aab8c000000    65,360  rwx--   [anon]
00002aaac0000000    65,388  rwx--   [anon]
00002aaba8000000    65,440  rwx--   [anon]
00002aaba4000000    65,472  rwx--   [anon]
00002aaac4000000    65,508  rwx--   [anon]
00002aab9c000000    65,508  rwx--   [anon]
00002aaab1f35000    87,736  rwx--   [anon]
000000004a74f000    104,592 rwx--   [anon]
00002aaafc000000    392,432 rwx--   [anon]
00002aab4c000000    392,480 rwx--   [anon]
00002aab68000000    392,908 rwx--   [anon]
00002aab20000000    654,464 rwx--   [anon]
00002aaad0000000    655,072 rwx--   [anon]
738000000   3,276,800   rwx--   [anon]
total   8,551,872       

JVM version is 20.10-b01
NIO direct memory: (in bytes)
  reserved size = 228.038025 MB (239115200 bytes)
  max size      = 2867.250000 MB (3006529536 bytes)