Python 3.x Netcraft蟒蛇3';速率限制机制';

Python 3.x Netcraft蟒蛇3';速率限制机制';,python-3.x,web-crawler,Python 3.x,Web Crawler,我编写了一个python3代码来从netcraft进行搜索 它将错误显示为: 站点访问错误 显示此页面是因为已触发Web服务器的速率限制机制。原因可能是: 您正在通过非标准浏览器访问网站。 请使用标准web浏览器并关闭任何过多的预取或批量下载选项 您访问网站的速度太快。 请降低您访问网站的速度 您正在以自动方式访问或爬网站点。 请不要使用机器人滥用本网站 代码如下: #!/usr/bin/env python import requests input = 'tesla.com' url =

我编写了一个python3代码来从netcraft进行搜索 它将错误显示为:

站点访问错误

显示此页面是因为已触发Web服务器的速率限制机制。原因可能是:

  • 您正在通过非标准浏览器访问网站。 请使用标准web浏览器并关闭任何过多的预取或批量下载选项
  • 您访问网站的速度太快。 请降低您访问网站的速度
  • 您正在以自动方式访问或爬网站点。 请不要使用机器人滥用本网站
  • 代码如下:

    #!/usr/bin/env python
    
    import requests
    
    input = 'tesla.com'
    url = 'https://searchdns.netcraft.com/?restriction=site+ends+with&host={}'.format(input)
    user_agent = 'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.7) Gecko/2009021910 Firefox/3.0.7'
    headers = {'User-Agent':user_agent}
    
    cookies = {}
    r = requests.get(url, cookies)
    if 'set-cookie' in r.headers:
        cookie = r.headers[set-cookie]
        challenge_token = (cookie.split(';')[0].split('=')[1])
        response = (cookie.split(';')[1].split('=')[1])
        cookies = {
                'netcraft_js_verification_response': '%s' % response.hexdigest(),
                'netcraft_js_verification_challenge': '%s' % challenge_token,
                'path' : '/'
        }
        r = requests.get(url, cookies)
    html_data = r.text
    print(html_data)
    
    已安装Geckodriver,cookie类似于以下内容:

    曲奇:

    netcraft_js_验证_挑战=

    netcraft_js_验证_响应=

    尝试但未能解决,需要帮助解决