HTTP错误429:受限--Python Web抓取

HTTP错误429:受限--Python Web抓取,python,web,web-scraping,http-status-code-429,Python,Web,Web Scraping,Http Status Code 429,为了我个人的兴趣,我正试图从(此处的网站)上截取特定数据,以生成此电脑游戏的附加统计数据列表。但是,每当我尝试刮取数据时,都会出现以下错误: HTTP错误429:受限 我研究了错误,它说:“用户在给定的时间内发送了太多的请求。用于速率限制方案。”因此,我无法打开此网站上的任何页面 这是我目前的代码: import urllib.request import urllib.parse try: url = urllib.request.urlopen('website here')

为了我个人的兴趣,我正试图从(此处的网站)上截取特定数据,以生成此电脑游戏的附加统计数据列表。但是,每当我尝试刮取数据时,都会出现以下错误:

HTTP错误429:受限

我研究了错误,它说:“用户在给定的时间内发送了太多的请求。用于速率限制方案。”因此,我无法打开此网站上的任何页面

这是我目前的代码:

import urllib.request
import urllib.parse

try:
    url = urllib.request.urlopen('website here')
    headers = {}
    headers['User-Agent'] = 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1312.27 Safari/537.17'
    req = urllib.request.Request(url, headers=headers)
    resp = urllib.requests.urlopen(req)
    respData = resp.read()
    print (respData)

except Exception as e:
    print(str(e))
更改“用户代理”失败。由于错误是指大量请求,是否可能在脚本中的某个位置添加延迟?我在想,我可以在我的电脑上写一个文件,随着时间的推移,不断地添加页面的块。有什么想法吗

我对Python/scraping有些陌生,所以尽量用简单的语言来表达:)谢谢

-2.0


注意:我有Python 3.4和2.7,我希望
Python
sleep
函数。至于您的429错误,您可能被IP地址禁止。有时禁令是永久性的,有时他们会在X天后清除,这取决于网站。您可能违反了我们未经阅读就点击的服务条款。祝你好运。如何避免HTTP错误429。。。