Python 我相信我的刮板被屏蔽了，但我可以通过普通浏览器访问该网站，他们如何做到这一点？

我最近使用requests和beautifulsou编写了一个相当简单的scraper。刮板工作得很好，直到有一天，我运行它并收到“对等机重置连接，错误54”。尽管有许多关于绕过错误54的问题，但这并不是我想知道的

为了测试我的特定IP或计算机是否被屏蔽，我在不同的机器和IP地址上运行了代码，代码运行正常。然而，令人不安的是，即使在我的旧机器上，我也可以通过常规浏览器完美地访问该网站

我想知道该网站是如何做到这一点而不完全封锁我的IP，如果有人有任何提示，以避免在未来这一点

我想知道该网站是如何做到这一点，而不阻止我的IP彻底和

通过检查你的请求的所有方面，有些是直截了当的，有些是晦涩难懂的。直接的项目包括用户代理标题、cookie、动态URL的正确拼写

神秘项目包括您的IP地址、请求的时间、相关请求的频率、其他标题的内容

。。。如果有人有任何建议来避免这一点在未来

对。联系相关网站的所有者，并配合他们实施的任何限制。检查您使用其网站的许可条款（如果是一般公共许可，通常称为“服务条款”）。确保您仅在这些条款范围内运营

---

如果网站数据可以通过API获得，并且您的使用符合API的许可条款，请使用它而不是屏幕抓取。数据的格式将更加一致，您的代码将运行得更快，您的负担（或威胁）也将更少致网站所有者。

我投票将此问题作为离题问题结束，因为此网站用于特定的编程问题，而不是解决网络安全措施和/或帮助提交未经授权的网络扫描的提示。该网站是什么？你读过他们的tos吗？有很多方法可以做到这一点，从用户代理头到更复杂的客户端指纹识别和时序分析。要弄清楚任何特定站点使用哪种方法纯粹是猜测，而且根本不知道这是哪个站点（以及他们是否支持任何安全网关服务la CloudFlare）。。。猜测到了极点。很抱歉没有提供太多细节。我想得到一些建议。感谢那些给他们的人。感谢Rob抽出时间回答我的问题。我知道这是相当普遍的，我现在只是在学习技巧，所以我对刮擦的理解是相当普遍的。我会接受你的答案，给你分数，因为它帮助我开始。再次感谢！