Python 获取网站中特定url的属性的最大限制是什么

Python 获取网站中特定url的属性的最大限制是什么,python,web-scraping,beautifulsoup,Python,Web Scraping,Beautifulsoup,我在excel工作表中有大约5到6k的URL,我需要在Python中通过在excel中获取每个URL并刮取该特定URL中所需的属性来构建一个漂亮的soup包,并且我需要循环所有5k URL 有可能一次就做到这一点吗 这些网站会因为数量大而阻止我们吗?有没有其他最佳方法可以做到这一点 请对此提出建议 您可以考虑以下几种方式: 以一定的间隔定期发送请求,如每5秒发送10次 使用不同的IP代理,所以服务器很难确定请求是否来自同一个客户端

我在excel工作表中有大约5到6k的URL,我需要在Python中通过在excel中获取每个URL并刮取该特定URL中所需的属性来构建一个漂亮的soup包,并且我需要循环所有5k URL

有可能一次就做到这一点吗

这些网站会因为数量大而阻止我们吗?有没有其他最佳方法可以做到这一点


请对此提出建议

您可以考虑以下几种方式:

以一定的间隔定期发送请求,如每5秒发送10次

使用不同的IP代理,所以服务器很难确定请求是否来自同一个客户端