为什么'；难道一个简单的python生产者/消费者多线程程序不能通过增加工人的数量来提高速度吗？

下面的代码几乎与

以下是Xeon 12核处理器上的结果：

$ ./speed.py 1
12.0873839855

$ ./speed.py 2
15.9101941586

$ ./speed.py 4
27.5713479519

我原以为增加员工数量会缩短响应时间，但实际上，响应时间在增加。我做了一次又一次的实验，但结果没有改变

---

我错过了什么明显的东西吗？或者python队列/线程不好用？

python在多线程方面相当差。由于全局锁，一次通常只有一个线程进行。参见

是的，马克西姆关于GIL的观点是正确的。但是，一旦你在员工身上做了一些值得做的事情，大多数情况下情况就会发生变化。在线程中要做的典型事情包括等待I/O或其他可以很好地完成线程切换的事情。如果您不只是计算员工人数，而是模拟在睡眠中工作，情况会发生巨大变化：

#!/usr/bin/env python

from Queue import Queue
from threading import Thread
from time import time, sleep
import sys

num_worker_threads = int(sys.argv[1])
source = xrange(1000)

def do_work(item):
    for i in xrange(10):
        sleep(0.001)

def worker():
    while True:
        item = q.get()
        do_work(item)
        q.task_done()

q = Queue()

for item in source:
    q.put(item)

start = time()

for i in range(num_worker_threads):
    t = Thread(target=worker)
    t.daemon = True
    t.start()

q.join()

end = time()

这将产生以下结果：

for i in 1 2 3 4 5 6 7 8 9 10; do echo -n "$i "; ./t.py $i; done
1 11.0209097862
2 5.50820493698
3 3.65133094788
4 2.73591113091
5 2.19623804092
6 1.83647704124
7 1.57275605202
8 1.38150596619
9 1.23809313774
10 1.1111137867

---

即使是线程也会引入一些上下文切换时间。这不像进程那样严重，但它确实存在。如果一个CPU需要12秒来完成10000个作业，那么四个CPU需要3秒来完成相同的作业。不要告诉我27-3=24秒是因为上下文转换。好吧，如果你知道，你可以告诉我。但是如果你不这样做，你需要考虑…线程从来没有打算在几个处理器上分割工作，尽管在某些语言中它是支持的。然而，在Python中，您可以使用进程来实现这一点。@Mohammad：这只适用于非常特殊的情况。在大多数情况下，作业取决于CPU之外的内容，例如先前计算的结果，然后您不能仅仅添加更多的处理器，并期望它运行得更快。

for i in 1 2 3 4 5 6 7 8 9 10; do echo -n "$i "; ./t.py $i; done
1 11.0209097862
2 5.50820493698
3 3.65133094788
4 2.73591113091
5 2.19623804092
6 1.83647704124
7 1.57275605202
8 1.38150596619
9 1.23809313774
10 1.1111137867