Python 即使使用硒，我们也能禁止IP吗？

我正在使用

Python

来

scrape

页面。到现在为止，我没有任何问题。为此，我使用了

Selenium

，但我也听说有些网站禁止使用IP。我没有面对那件事。那些人使用了

beautifulsoup

，

lxml

和

请求

库

Selenium感觉用户使用的是浏览器而不是机器人，但它是否也可以在某些网站上被IP禁止？ 我还将标头用户_代理用作：

user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_3) AppleWebKit/537.36 (KHTML, like Gecko) ' \
                 'Chrome/80.0.3987.132 Safari/537.36'

---

是的，这取决于你向网站发送的请求，通常情况下，使用用户代理可以禁止你访问网站，因为如果没有设置，有些网站不会让你进入

---

如果你不想被禁止使用代理IP

对。通常被禁止是指你在一段时间内提出了多少请求，与你使用什么媒介与网站互动无关。我已经收到了暂时到全面的IP禁令。是的，你可以被禁止。其他scraper动态更改其用户代理并使用不同的ip地址。在不严重限制网站功能的情况下，通常无法区分刮板程序和普通用户。很多刮刀都会进行站点渲染。更先进的铲运机雇用人员来解决验证码问题。这是一个平衡点，在你的刮刀有多先进，网站维护者愿意花多少精力来对付刮刀，以及你想在网站上限制诚实用户的用户体验有多严重。如果你在刮刀，可能是因为这些数据没有通过API提供给你。如果它没有通过API提供给您，您可能不应该以自动方式访问它。即使在网站的使用条款中没有详细说明这一点——通常是这样——你也不应该期望刮取是一种稳定的数据收集方法。