Python 如何使用线程或其他快速方式获取网站?

Python 如何使用线程或其他快速方式获取网站?,python,windows,urllib,Python,Windows,Urllib,我在理解线程如何工作或如何用它构建一些东西方面遇到了一些困难 我需要下载几个网页,改变链接上的一个值(简单的部分),并获得一些信息,但我使用“while”,大约需要1秒或更长时间才能下载一个60kb的网站。。。我的互联网容量为5mb 有人能给我举一个最简单的例子说明如何做类似的事情吗?摘自 从 这不使用线程,但工作原理相同-同时发出请求。线程.Thread.\uuu init\uuuu(self)…这与线程导入线程的相同吗? #!/usr/bin/env python i

我在理解线程如何工作或如何用它构建一些东西方面遇到了一些困难

我需要下载几个网页,改变链接上的一个值(简单的部分),并获得一些信息,但我使用“while”,大约需要1秒或更长时间才能下载一个60kb的网站。。。我的互联网容量为5mb

有人能给我举一个最简单的例子说明如何做类似的事情吗?

摘自


这不使用线程,但工作原理相同-同时发出请求。

线程.Thread.\uuu init\uuuu(self)
…这与线程导入线程的
相同吗?
      #!/usr/bin/env python
      import Queue
      import threading
      import urllib2
      import time

      hosts = ["http://yahoo.com", "http://google.com", "http://amazon.com",
      "http://ibm.com", "http://apple.com"]

      queue = Queue.Queue()

      class ThreadUrl(threading.Thread):
      """Threaded Url Grab"""
        def __init__(self, queue):
          threading.Thread.__init__(self)
          self.queue = queue

        def run(self):
          while True:
            #grabs host from queue
            host = self.queue.get()

            #grabs urls of hosts and prints first 1024 bytes of page
            url = urllib2.urlopen(host)
            print url.read(1024)

            #signals to queue job is done
            self.queue.task_done()

      start = time.time()
      def main():

        #spawn a pool of threads, and pass them queue instance 
        for i in range(5):
          t = ThreadUrl(queue)
          t.setDaemon(True)
          t.start()

       #populate queue with data   
          for host in hosts:
            queue.put(host)

       #wait on the queue until everything has been processed     
       queue.join()

      main()
      print "Elapsed Time: %s" % (time.time() - start)
from requests import async

urls = [
    'http://python-requests.org',
    'http://httpbin.org',
    'http://python-guide.org',
    'http://kennethreitz.com'
]

rs = [async.get(u) for u in urls]
async.map(rs)