Python-请求模块HTTP和HTTPS请求

我希望使用Python

requests

模块发出请求。我有一个很大的URL数据库，我想下载。URL位于表单

page.be/something/something.html的数据库中

我收到了很多连接错误。如果在浏览器中搜索URL，则该页面存在

我的代码：

if not webpage.url.startswith('http://www.'):
  new_html = requests.get(webpage.url, verify=True, timeout=10).text

我试图下载的一个页面示例是
carlier.be/categorie/jobs.html
。这给了我一个
ConnectionError
，记录如下：

连接错误，网页不可用于
“carlier.be/categorie/jobs.html”，网页号为“229998”

这里有什么问题吗？为什么
请求
无法建立连接，而我可以在浏览器中找到该页面？
请求

库要求您为其提供一个连接模式（url的“http://”部分）。确保每个url前面都有http://或https://。您可能需要一个try/except块，用于捕获

请求。异常。缺少模式

，然后在url前面加上

“http://”

重试。

请求库要求您提供一个模式供其连接（url的“http://”部分）。确保每个url前面都有http://或https://。您可能需要一个try/except块，用于捕获

请求.异常.MissingSchema

，然后在url前面加上

“http://”

重试。

那么，使用http和https进行尝试的好代码段是什么呢？捕获ConnectionError并使用https重试似乎不是一个好方法。@SandervanDorsten我会在尝试发出请求之前处理url字符串。所有的URL都应该通过http[s]吗？如果是这种情况，那么您甚至可以只检查字符串的前4个字符，如果它们不是http，则在发出请求之前将http://或https://前置到url。另一个显而易见的答案是使用正则表达式来确定字符串中是否有格式说明符。那么，使用http和https的好代码段是什么呢？捕获ConnectionError并使用https重试似乎不是一个好方法。@SandervanDorsten我会在尝试发出请求之前处理url字符串。所有的URL都应该通过http[s]吗？如果是这种情况，那么您甚至可以只检查字符串的前4个字符，如果它们不是http，则在发出请求之前将http://或https://前置到url。另一个明显的答案是一个正则表达式，用于确定字符串中是否有格式说明符。