Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/308.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 为什么Spynner这么慢?_Python_Spynner - Fatal编程技术网

Python 为什么Spynner这么慢?

Python 为什么Spynner这么慢?,python,spynner,Python,Spynner,我目前正在使用Spyner通过代理多次加载网页。通过调试特性,我注意到Spyner单独加载页面的非本地元素,而不是同时加载。我想访问的网页很重 这是我正在做的一个例子 import random import spynner proxies = [proxy.strip() for proxy in open('proxies.txt', 'r')] while True: proxy = random.choice(proxies) browser = spynner.B

我目前正在使用Spyner通过代理多次加载网页。通过调试特性,我注意到Spyner单独加载页面的非本地元素,而不是同时加载。我想访问的网页很重

这是我正在做的一个例子

import random
import spynner

proxies = [proxy.strip() for proxy in open('proxies.txt', 'r')]

while True:
    proxy = random.choice(proxies)

    browser = spynner.Browser(debug_level=spynner.DEBUG)
    browser.set_proxy(proxy)

    browser.load("http://website.com/")

    browser.show()
    browser.browse()
    browser.close()

什么是解决方案?

spynner是否内置了并发功能?我无法找到这些信息,但可能是因为作者到目前为止还没有实现这一点,以保持事情的简单。我知道spynner是为测试而设计的,而不是为了性能。并发下载将涉及使用绿色线程、操作系统级线程或多个进程。在Spyners代码中有这些迹象吗?Jan Philip Gehrcke:没有,我在模块文件中找不到任何迹象。然后你可以问作者如何加快这个过程,他们是最好的人选。如果这个请求出现得足够频繁,他们也许有一天会实现并发。谢谢。您知道有任何类似这样的具有并发性的备用模块吗?