Web scraping 如何隐藏网站的连续点击率(刷新)

Web scraping 如何隐藏网站的连续点击率(刷新),web-scraping,scrapy,python-requests,scrapy-spider,pyspider,Web Scraping,Scrapy,Python Requests,Scrapy Spider,Pyspider,我已经开发了一个Python(请求)和Java代码来删除网站上的数据。它将通过不断刷新网站以获取新数据来工作。 但该网站最近确认我的刮板是一项自动服务,我的账户被锁定。有没有办法隐藏此刷新以获取新数据而不锁定帐户?这取决于它是哪个网站,在任何情况下,刮板都会模拟用户行为,但仍然会被阻止。 如果网站检测到定时任务,解决方案可能是随机设置应用程序的刷新时间。 如果网站将显示验证码,则您没有简单的解决方案 如果网站仅统计来自特定IP地址的访问,则可以设置动态代理服务器来模拟来自其他IP的请求

我已经开发了一个Python(请求)和Java代码来删除网站上的数据。它将通过不断刷新网站以获取新数据来工作。

但该网站最近确认我的刮板是一项自动服务,我的账户被锁定。有没有办法隐藏此刷新以获取新数据而不锁定帐户?

这取决于它是哪个网站,在任何情况下,刮板都会模拟用户行为,但仍然会被阻止。
如果网站检测到定时任务,解决方案可能是随机设置应用程序的刷新时间。
如果网站将显示验证码,则您没有简单的解决方案
如果网站仅统计来自特定IP地址的访问,则可以设置动态代理服务器来模拟来自其他IP的请求