Python 为什么Spynner这么慢?
我目前正在使用Spyner通过代理多次加载网页。通过调试特性,我注意到Spyner单独加载页面的非本地元素,而不是同时加载。我想访问的网页很重 这是我正在做的一个例子Python 为什么Spynner这么慢?,python,spynner,Python,Spynner,我目前正在使用Spyner通过代理多次加载网页。通过调试特性,我注意到Spyner单独加载页面的非本地元素,而不是同时加载。我想访问的网页很重 这是我正在做的一个例子 import random import spynner proxies = [proxy.strip() for proxy in open('proxies.txt', 'r')] while True: proxy = random.choice(proxies) browser = spynner.B
import random
import spynner
proxies = [proxy.strip() for proxy in open('proxies.txt', 'r')]
while True:
proxy = random.choice(proxies)
browser = spynner.Browser(debug_level=spynner.DEBUG)
browser.set_proxy(proxy)
browser.load("http://website.com/")
browser.show()
browser.browse()
browser.close()
什么是解决方案?spynner是否内置了并发功能?我无法找到这些信息,但可能是因为作者到目前为止还没有实现这一点,以保持事情的简单。我知道spynner是为测试而设计的,而不是为了性能。并发下载将涉及使用绿色线程、操作系统级线程或多个进程。在Spyners代码中有这些迹象吗?Jan Philip Gehrcke:没有,我在模块文件中找不到任何迹象。然后你可以问作者如何加快这个过程,他们是最好的人选。如果这个请求出现得足够频繁,他们也许有一天会实现并发。谢谢。您知道有任何类似这样的具有并发性的备用模块吗?