Python 如何在抓取数据时防止IP阻塞

我试图从一个网站上搜集数据

代码正在运行，但当我试图清除所有滚动页面时，该站点阻止了我的IP地址。如果对如何解决这个问题有任何建议，请告诉我。谢谢

您可以使用代理

---

可以非常便宜地购买Ip地址，然后您可以遍历Ip地址列表，同时更改浏览器和其他用户代理参数。

我想您可以稍微慢一点或诸如此类，因为一旦你的ip被阻塞，除了使用不同的ip之外，你什么也做不了。你肯定应该在迭代中加入

time.sleep

。只要在一个网站上发出500个请求，你肯定会被禁止。此外，如果您检查网络连接，您将看到数据是从API加载的。尝试直接从API获取数据，而不是通过页面请求。我建议可能需要5-10秒，因为大多数网站不喜欢快速启动请求。