Network programming 为什么Java';s socket.connect()消耗100%的cpu资源?
我创建了一个线程池,并给它50个任务来连接到服务器。因此,一旦完成连接,发送一些数据,然后断开连接。它还将读取超时设置为5秒(当然长5000秒)。我甚至将线程池的最大大小设置为1。然后我在linux上启动它,并运行htop(top的更好版本)来检查CPU使用情况。我一直看到我的一个核心(2核心机器)在100%的整个时间。我用hprof(Network programming 为什么Java';s socket.connect()消耗100%的cpu资源?,network-programming,profiling,java,Network Programming,Profiling,Java,我创建了一个线程池,并给它50个任务来连接到服务器。因此,一旦完成连接,发送一些数据,然后断开连接。它还将读取超时设置为5秒(当然长5000秒)。我甚至将线程池的最大大小设置为1。然后我在linux上启动它,并运行htop(top的更好版本)来检查CPU使用情况。我一直看到我的一个核心(2核心机器)在100%的整个时间。我用hprof(-agentlib:hprof=cpu=samples,interval=20,depth=3)对此进行了分析,并将socket.connect()设置为99%
-agentlib:hprof=cpu=samples,interval=20,depth=3
)对此进行了分析,并将socket.connect()设置为99%
这就是我觉得奇怪的地方,阻止IO阻止(因此等待)的目的不是吗?我的JDK是(来自java-version
):
OpenJDK运行时环境(IcedTea6 1.6.1)(6b16-1.6.1-3ubuntu3)
OpenJDK服务器虚拟机(构建14.0-b16,混合模式)
更新1:Sun的JVM上也出现了同样的问题:
java -version
Java version "1.6.0_20"
Update2:这是由于本机的doConnect方法造成的。有人知道我如何查看本机/C代码的源代码吗
更新3:我登录windows编写代码并测试它。它工作正常,没有CPU资源被浪费。我重新登录到linux,现在问题仍然存在,但还没有严重到只需1个连接就可以100%地连接整个CPU核心。。。。代码如下:
import java.io.IOException;
import java.net.InetAddress;
import java.net.InetSocketAddress;
import java.net.Socket;
import java.net.UnknownHostException;
import java.util.Vector;
import java.util.concurrent.Callable;
import java.util.concurrent.Executors;
import java.util.concurrent.ThreadPoolExecutor;
import java.util.concurrent.TimeUnit;
public class SocketTest {
public static void main(String[] args) {
new SocketTest();
}
public SocketTest() {
ThreadPoolExecutor tpe = (ThreadPoolExecutor) Executors.newFixedThreadPool(40);
Vector<Callable<Object>> tasks = new Vector<Callable<Object>>();
for (int i = 0; i < 1500; i++)
tpe.submit(new Thread() {
public void run() {
byte[] ip = { 74, 125, 19, (byte)((Math.random()*253)+1)};
Socket socket = new Socket();
try {
System.out.println("new thread: "+ip[3]);
socket.connect(new InetSocketAddress(InetAddress.getByAddress(ip), 80), 3000);
socket.close();
} catch (UnknownHostException e) {
e.printStackTrace();
} catch (IOException e) {
//no need to print
}
}
});
try {
tpe.invokeAll(tasks);
} catch (InterruptedException e1) {
e1.printStackTrace();
}
System.out.println("test");
try {
//too lazy to write actual code to wait for task completness...
tpe.awaitTermination(9001, TimeUnit.DAYS);
} catch (InterruptedException e) {
e.printStackTrace();
}
System.out.println("test2");
}
}
import java.io.IOException;
导入java.net.InetAddress;
导入java.net.InetSocketAddress;
导入java.net.Socket;
导入java.net.UnknownHostException;
导入java.util.Vector;
导入java.util.concurrent.Callable;
导入java.util.concurrent.Executors;
导入java.util.concurrent.ThreadPoolExecutor;
导入java.util.concurrent.TimeUnit;
公共类SocketTest{
公共静态void main(字符串[]args){
新SocketTest();
}
公共插座测试(){
ThreadPoolExecutor tpe=(ThreadPoolExecutor)Executors.newFixedThreadPool(40);
向量任务=新向量();
对于(int i=0;i<1500;i++)
tpe.submit(新线程(){
公开募捐{
字节[]ip={74125,19,(字节)((Math.random()*253)+1)};
套接字=新套接字();
试一试{
System.out.println(“新线程:+ip[3]);
socket.connect(新的InetSocketAddress(InetAddress.getByAddress(ip),80),3000);
socket.close();
}捕获(未知后异常e){
e、 printStackTrace();
}捕获(IOE异常){
//不需要打印
}
}
});
试一试{
tpe.invokeAll(任务);
}捕捉(中断异常e1){
e1.printStackTrace();
}
系统输出打印(“测试”);
试一试{
//懒得编写实际代码,无法等待任务完成。。。
tpe.等待终止(9001,时间单位:天);
}捕捉(中断异常e){
e、 printStackTrace();
}
System.out.println(“test2”);
}
}
我只是想说明一下,您似乎滥用了线程池,因为您实际实例化了类型为thread的新对象1500次,只是为了将它们传递给一个线程池,该线程池实例化了更多线程以运行您的任务。您通常应该做的是实例化一个Runnable并让线程池完成它的工作。我不是说这是导致CPU阻塞的原因,但这确实是一个问题。抛开代码的设计问题(例如,任务从来没有真正使用过),我无法在Windows或Ubuntu上重现高CPU使用率(12.04.2 LTS
)
请将您的JDK
升级到1.7(sudo-apt-get-install-openjdk-7-JDK
)并告诉我您使用的是哪个版本的JDK
?例如,我的是javac1.7.0\u25
(使用javac-version
获得)
在那之后,我将尝试进一步挖掘…代码中必须有一些内容,您可以发布相关部分吗。您可能需要将导致问题的代码量降到最低。请参阅update2。它发生在PlainSocketImpl内部的doConnect方法中。这就是为什么要用软管冲洗。我没有任何方法消耗CPU…1500个线程,你一定是在开玩笑吧?你怎么知道这是连接?无论如何,做1500次会花费很多资源。如果您正在寻找1500个并发连接,那么您最好得到比您编写的更健壮的连接。@Romain Hippeau:“我甚至将线程池的最大大小设置为1”我认为这里可以忽略线程池。我不应该在代码中提交一个这样的例子,因为它是不相关的,我只是懒得这么做。