Python 解析:grequests“;无”;响应:主机关闭了连接?
我正在尝试一些代码,当我只有大约50个请求要发送时,这些代码非常有效,但是现在我尝试了更多的请求(大约200个),我觉得服务器可能会在60个请求后关闭连接,因为我得到了“无”响应 以下是我使用的代码:Python 解析:grequests“;无”;响应:主机关闭了连接?,python,parsing,html-parsing,lxml,grequests,Python,Parsing,Html Parsing,Lxml,Grequests,我正在尝试一些代码,当我只有大约50个请求要发送时,这些代码非常有效,但是现在我尝试了更多的请求(大约200个),我觉得服务器可能会在60个请求后关闭连接,因为我得到了“无”响应 以下是我使用的代码: urls = [] for kw in keywords: urls.append("https://play.google.com/store/search?q=" + kw + "&c=apps&hl=fr") from lxml import html rs =
urls = []
for kw in keywords:
urls.append("https://play.google.com/store/search?q=" + kw + "&c=apps&hl=fr")
from lxml import html
rs = (grequests.get(u) for u in urls)
responses = grequests.map(rs)
for idx, r in enumerate(responses): # r = results page
time.sleep(2)
responses_tree = html.fromstring(r.content) # Readable HTML
答复:
Out[893]:
[<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
<Response [200]>,
None,
<Response [200]>,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None,
None]
Out[893]:
[,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
没有一个
,
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
没有一个
无]
追溯:
AttributeError Traceback (most recent call last)
C:\Users\Nathan\googlestore.py in <module>()
249 for idx, r in enumerate(responses): # r = results page
250 time.sleep(2)
--> 251 responses_tree = html.fromstring(r.content) # Readable HTML
252 apps_links = responses_tree.xpath('//a[@class="title"]/@href') # Get all links
253 if len(apps_links) > 10:
AttributeError: 'NoneType' object has no attribute 'content'
AttributeError回溯(最近一次调用)
C:\Users\Nathan\googlestore.py in()
249对于idx,枚举中的r(响应):#r=结果页
250次。睡眠(2)
-->251响应_tree=html.fromstring(r.content)#可读html
252 apps_links=responses_tree.xpath('//a[@class=“title”]/@href')#获取所有链接
253如果len(应用程序链接)>10:
AttributeError:“非类型”对象没有属性“内容”
我怎样才能解决这个问题?我是否应该在发送50个请求后等待30秒,然后再发送50个?有没有人有谷歌文档的链接,关于向他们的服务器发出的请求
谢谢 谢谢你,但是这个API不处理GooglePlay商店,对吗?我对搜索请求和检索结果很感兴趣。同样的问题,令人惊讶的是,成功请求的数量总是一样的!谢谢你,但是这个API不处理GooglePlay商店,对吗?我对搜索请求和检索结果很感兴趣。同样的问题,令人惊讶的是,成功请求的数量总是一样的!