Python requests.get(url)返回空,但可以';我不明白为什么 更新:

Python requests.get(url)返回空,但可以';我不明白为什么 更新:,python,python-3.x,web-scraping,python-requests,Python,Python 3.x,Web Scraping,Python Requests,我想我解决了这个问题。我正在使用requests\u cache模块,我可能会继续请求在许多测试之前从缓存返回空的URL。换句话说,缓存保留了一个“bug”,我一直在默默地使用该缓存请求 我正在尝试运行以下代码,但由于requests.get(url)部分返回为空,因此它会出错。我在一堆URL中循环,其他的都很好。这是一个继续这样做的人 urls = ['http://www.basketball-reference.com/players/b/brogdma01.html', 'http

我想我解决了这个问题。我正在使用
requests\u cache
模块,我可能会继续请求在许多测试之前从缓存返回空的URL。换句话说,缓存保留了一个“bug”,我一直在默默地使用该缓存请求


我正在尝试运行以下代码,但由于
requests.get(url)
部分返回为空,因此它会出错。我在一堆URL中循环,其他的都很好。这是一个继续这样做的人

urls = ['http://www.basketball-reference.com/players/b/brogdma01.html',
  'http://www.basketball-reference.com/players/b/brokaga01.html',
  'http://www.basketball-reference.com/players/b/brookpr01.html',
  'http://www.basketball-reference.com/players/b/brookcl01.html',
  'http://www.basketball-reference.com/players/b/brookaa01.html',
  'https://www.basketball-reference.com/players/c/cookqu01.html']

for url in urls:
  page_source = requests.get(url).text
这个URL有问题:
https://www.basketball-reference.com/players/c/cookqu01.html


有人知道为什么这一个会有不同的行为吗?

我看到的唯一一件事是,您不工作的url是唯一一个带有“https”而不是“http”的url


但我认为这是同一个网站,所以这可能是你的问题。

你能检查一下状态码吗。示例:requests.get(url).status\u代码。如果不是200,则访问或链接存在一些问题。下面是理解代码的状态代码文档:我尝试了您上面提供的有问题的URL,对我来说,我能够获得文本。你能提供更多的信息吗?也许网站价格限制了你的要求。为什么不试试看时间。每次请求后都要睡眠(2)。@lllrnr101它确实有速率限制,我尝试过不同的睡眠间隔和不同的顺序。它总是在那个特定的URL上出错。