在Python中生成大量HTTP请求

在Python中生成大量HTTP请求,python,multithreading,http,http-headers,Python,Multithreading,Http,Http Headers,我正在尝试测试一个web应用程序,其中一部分涉及到发出约10K个请求,使用您可以尝试使用的少数(本文底部有示例代码)。我在使用web服务器进行测试,在双核athlon@2Ghz上每秒连接数无法超过1000个。30%的资源使用了测试工具ab,其余资源用于服务器。我非常确信,大多数资源都是由操作系统和IP层使用的 非阻塞服务器比阻塞服务器具有更好的性能,因为它们不会为每个连接生成tread。理论上,它们可以单步运行。我在编写web站点的批量事务脚本方面取得了很好的成功。我过去曾为此使用过libcu

我正在尝试测试一个web应用程序,其中一部分涉及到发出约10K个请求,使用您可以尝试使用的少数(本文底部有示例代码)。

我在使用web服务器进行测试,在双核athlon@2Ghz上每秒连接数无法超过1000个。30%的资源使用了测试工具ab,其余资源用于服务器。我非常确信,大多数资源都是由操作系统和IP层使用的



非阻塞服务器比阻塞服务器具有更好的性能,因为它们不会为每个连接生成tread。理论上,它们可以单步运行。

我在编写web站点的批量事务脚本方面取得了很好的成功。

我过去曾为此使用过libcurl()的Python绑定。使用多客户机特性,它在C中异步完成。速度非常快

如果您通过调整资源限制会发生什么?只是为了澄清一下任务:您不需要打开~10K个线程?我会处理10个top,每个top发出多个请求,处理输出,然后以某种方式记录它。这是一个非常漂亮的解决方案,但远远超出了我的需要。但我现在看到,可能连接的有限性可能比最大线程数更具限制性。谢谢