Python 我不能用漂亮的汤刮网页

我试图在Python 3中使用BeautifulSoup

Traceback (most recent call last):

      File "D:\DataVisualization\lib\urllib\request.py", line 163, in urlopen
        return opener.open(url, data, timeout)
      File "D:\DataVisualization\lib\urllib\request.py", line 472, in open
        response = meth(req, response)
      File "D:\DataVisualization\lib\urllib\request.py", line 582, in http_response
        'http', request, response, code, msg, hdrs)
      File "D:\DataVisualization\lib\urllib\request.py", line 510, in error
        return self._call_chain(*args)
      File "D:\DataVisualization\lib\urllib\request.py", line 444, in _call_chain
        result = func(*args)
      File "D:\DataVisualization\lib\urllib\request.py", line 590, in http_error_default
        raise HTTPError(req.full_url, code, msg, hdrs, fp)
    urllib.error.HTTPError: HTTP Error 403: Forbidden

---

使用请求，此站点不需要UA:

In [23]: import requests

In [24]: r = requests.get('https://www.crowdcube.com/investments?sector=technology')

In [25]: r.status_code
Out[25]: 200

---

OP特别要了一碗靓汤。@bejado你知道

bs4

和

urllib

或

请求之间的区别吗？
403
与
bs4
有什么关系？我不知道OP为什么会得到403，但问题是，为什么在使用Beautiful Soup时会发出403。你的回答并没有解决这个问题。你能发布你正在使用的漂亮的汤代码吗？从bs4导入BeautifulSoup导入urllib，re data={'title'：[]，'description'：[]l=（'）tree=BeautifulSoup（l，'lxml'）#title title=tree.find_all（'div'，{'cc-cardOpportunity_ubody'））data['title']=tree.find（'h1'））#description description=tree.find_all（'div'，{'class'：'cc-cardOpportunity__body'）数据['description']）。append（description[1]。find（'p'）。get_text（）数据我无法抓取此网站：(