Python 连接有限的刮削站点
我有一个python脚本,它从某个站点获取一些信息。 此站点每天限制20个连接 因此,我决定使用具有指定代理的模块请求 在对不同的代理列表站点进行了几个小时的测试后,我找到了一个,并从该站点进行了解析 似乎,这个网站没有得到经常更新的列表,在测试我的脚本后,我浪费了所有的代理,我无法访问该网站了 所有这些搜索让我筋疲力尽,我觉得我的剧本糟透了 有什么方法可以避免我被网站发现,或者我只需要找到另一个代理列表?如果有一些网站每日更新和所有新的代理列表-请让我知道Python 连接有限的刮削站点,python,proxy,python-requests,Python,Proxy,Python Requests,我有一个python脚本,它从某个站点获取一些信息。 此站点每天限制20个连接 因此,我决定使用具有指定代理的模块请求 在对不同的代理列表站点进行了几个小时的测试后,我找到了一个,并从该站点进行了解析 似乎,这个网站没有得到经常更新的列表,在测试我的脚本后,我浪费了所有的代理,我无法访问该网站了 所有这些搜索让我筋疲力尽,我觉得我的剧本糟透了 有什么方法可以避免我被网站发现,或者我只需要找到另一个代理列表?如果有一些网站每日更新和所有新的代理列表-请让我知道 顺便说一句,我经常会偶然发现一些网站
顺便说一句,我经常会偶然发现一些网站,比如我刚刚进入的链接,它给了我完全的访问权限。也许我可以用Python编写代码?如果可能的话,请告诉我怎么做。每天20次连接的限制是如何工作的?你不能在同一个连接上请求多个页面吗?这是一个排名网站。球队名单,分数。等等。当我打开任何团队链接时,我会进入团队页面,查看结果。所以,每次我都是通过请求打开它。getteam_页面,proxy={http:proxy}我有-1连接。你可以购买旋转代理或vpn解决方案,如Hidemyas pro vpn。找到一个解决方案,使用TOR。