Python 3.x Netcraft蟒蛇3';速率限制机制';
我编写了一个python3代码来从netcraft进行搜索 它将错误显示为: 站点访问错误 显示此页面是因为已触发Web服务器的速率限制机制。原因可能是:Python 3.x Netcraft蟒蛇3';速率限制机制';,python-3.x,web-crawler,Python 3.x,Web Crawler,我编写了一个python3代码来从netcraft进行搜索 它将错误显示为: 站点访问错误 显示此页面是因为已触发Web服务器的速率限制机制。原因可能是: 您正在通过非标准浏览器访问网站。 请使用标准web浏览器并关闭任何过多的预取或批量下载选项 您访问网站的速度太快。 请降低您访问网站的速度 您正在以自动方式访问或爬网站点。 请不要使用机器人滥用本网站 代码如下: #!/usr/bin/env python import requests input = 'tesla.com' url =
#!/usr/bin/env python
import requests
input = 'tesla.com'
url = 'https://searchdns.netcraft.com/?restriction=site+ends+with&host={}'.format(input)
user_agent = 'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.7) Gecko/2009021910 Firefox/3.0.7'
headers = {'User-Agent':user_agent}
cookies = {}
r = requests.get(url, cookies)
if 'set-cookie' in r.headers:
cookie = r.headers[set-cookie]
challenge_token = (cookie.split(';')[0].split('=')[1])
response = (cookie.split(';')[1].split('=')[1])
cookies = {
'netcraft_js_verification_response': '%s' % response.hexdigest(),
'netcraft_js_verification_challenge': '%s' % challenge_token,
'path' : '/'
}
r = requests.get(url, cookies)
html_data = r.text
print(html_data)
已安装Geckodriver,cookie类似于以下内容:
曲奇:
netcraft_js_验证_挑战=
netcraft_js_验证_响应=
尝试但未能解决,需要帮助解决