Python 3.x Python请求库。在不下载目标的情况下获取状态代码

Python 3.x Python请求库。在不下载目标的情况下获取状态代码,python-3.x,python-requests,Python 3.x,Python Requests,我们有一个简单的网站链接到大文件。有数十万个链接,文件大小从几MB到几GB不等。所有文件的总大小为几TB 我们在请求库中使用Python脚本来检查每个URL的有效性。我们使用“requests.get(url).status_code”并查找404 我担心requests.get()会下载我们不需要的所有文件。url指向总计数TB的大型文件。如果脚本在每个请求中下载每个文件。get(),它将运行得非常慢,并使用太多的资源 在请求或其他库中,是否可以只获取状态代码而不下载目标 最后一点注意:url

我们有一个简单的网站链接到大文件。有数十万个链接,文件大小从几MB到几GB不等。所有文件的总大小为几TB

我们在请求库中使用Python脚本来检查每个URL的有效性。我们使用“requests.get(url).status_code”并查找404

我担心requests.get()会下载我们不需要的所有文件。url指向总计数TB的大型文件。如果脚本在每个请求中下载每个文件。get(),它将运行得非常慢,并使用太多的资源

在请求或其他库中,是否可以只获取状态代码而不下载目标


最后一点注意:url目标是二进制文件,而不是HTML。因此,限制网站下载大小的技巧(例如仅请求HTML标题)在这里可能不起作用。

您可以尝试使用
requests.head
函数,该函数发送。HEAD请求可以被认为是一个没有正文的GET请求。

成功了!我错误地认为requests.head()获得了html元素。我没有意识到它会得到http头。再次感谢。