Python 从网站收集数据时同时发送多个http请求的最佳方式

我从一个网站上收集数据，用Python进行人工智能培训。我分别向网站的索引发送请求。在解析html之后，如果我在html中找到一个有意义的数据，我会保存它并将请求发送到另一个索引。 有500多万个网站需要检查。所以我想我应该一次发送多个请求。否则，我不能完成它们

我正在寻找最好的方式来发送多个请求在同一时间。我知道方法：线程、多个python脚本、异步函数。但我不确定最好的方法是什么

谢谢。

我会使用它，它是一个非常简单的请求异步包装器，您可以按如下方式使用它：

从concurrent.futures导入完成 从请求_futures.sessions导入FutureSession 未来会话作为会话： futures=[session.geturl用于url中的url] 对于已完成期货的未来： res=未来结果 printres.json

---

不幸的是，这是一个基于观点的问题，不适合这个网站。你可以给出你的想法。哪个站点与这个问题有关？这是一个受I/O限制的任务，但它背后有很多上下文和细微差别，只有你知道。因此，对于I/O绑定任务，通常需要多线程或异步。现在由你来研究这两种方法，看看什么更适合你