Proxy 在抓取中使用随机用户代理与代理？

我最近在做网页抓取。 我发现我们可以使用代理或随机用户代理来远离反刮擦检测

代理和随机用户代理之间有什么区别吗

因为当我了解到两者都是用来隐藏原始客户机请求标识时，我感到困惑

---

如果我的理解是错误的，请告诉我用户代理和代理是完全不同的概念

1） 用户代理：用户代理将通过标题发送到目标网站

当我向stackoverflow发送请求时，我的useragent是：

用户代理：Mozilla/5.0（X11；Ubuntu；Linux x86；rv:68.0）Gecko/20100101 Firefox/68.0

它说我正在使用mozilla和linux+其他信息。在linux上使用相同浏览器（firefox 5.0）的每个人都有相同的useragent

此库将帮助您找到web上使用的最常见的useragent，从而使您的useragent看起来是匿名的：

2） 代理

代理将允许您将ip地址隐藏在代理后面。您的目标网站将收到代理的ip地址，而不是您的。如果你的ip被网站屏蔽，那么使用代理通常会解锁网站

在抓取过程中被阻止的原因可能有很多，但在某些情况下，旋转ip和UserAgent是有效的