Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/312.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/visual-studio-2008/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 连接有限的刮削站点_Python_Proxy_Python Requests - Fatal编程技术网

Python 连接有限的刮削站点

Python 连接有限的刮削站点,python,proxy,python-requests,Python,Proxy,Python Requests,我有一个python脚本,它从某个站点获取一些信息。 此站点每天限制20个连接 因此,我决定使用具有指定代理的模块请求 在对不同的代理列表站点进行了几个小时的测试后,我找到了一个,并从该站点进行了解析 似乎,这个网站没有得到经常更新的列表,在测试我的脚本后,我浪费了所有的代理,我无法访问该网站了 所有这些搜索让我筋疲力尽,我觉得我的剧本糟透了 有什么方法可以避免我被网站发现,或者我只需要找到另一个代理列表?如果有一些网站每日更新和所有新的代理列表-请让我知道 顺便说一句,我经常会偶然发现一些网站

我有一个python脚本,它从某个站点获取一些信息。 此站点每天限制20个连接 因此,我决定使用具有指定代理的模块请求

在对不同的代理列表站点进行了几个小时的测试后,我找到了一个,并从该站点进行了解析

似乎,这个网站没有得到经常更新的列表,在测试我的脚本后,我浪费了所有的代理,我无法访问该网站了

所有这些搜索让我筋疲力尽,我觉得我的剧本糟透了

有什么方法可以避免我被网站发现,或者我只需要找到另一个代理列表?如果有一些网站每日更新和所有新的代理列表-请让我知道


顺便说一句,我经常会偶然发现一些网站,比如我刚刚进入的链接,它给了我完全的访问权限。也许我可以用Python编写代码?如果可能的话,请告诉我怎么做。

每天20次连接的限制是如何工作的?你不能在同一个连接上请求多个页面吗?这是一个排名网站。球队名单,分数。等等。当我打开任何团队链接时,我会进入团队页面,查看结果。所以,每次我都是通过请求打开它。getteam_页面,proxy={http:proxy}我有-1连接。你可以购买旋转代理或vpn解决方案,如Hidemyas pro vpn。找到一个解决方案,使用TOR。