Python 无法使用BeautifulSoup从google搜索结果页面检索链接

我试图使用bs4获取任何给定查询的结果页面上显示的所有相关链接，然后在新窗口中打开它们

问题是，我没有得到相关的链接。对于任何给定的查询，我的脚本都会返回指向gmail、google图像等内容的链接，而不是与查询相关的链接

#!/usr/bin/python3
import webbrowser as wb
import requests 
import bs4 as bs



search=input()
url="https://www.google.ae/?gfe_rd=cr&ei=mgSoWKmWO-aG7gTgmJ2QDA&gws_rd=ssl#q="+search
#print(url)
user_agent = {'User-Agent': 'Mozilla/5.0'}

#headers['User-Agent'] = 'Mozilla/5.0 (X11; Linux i686) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1312.27 Safari/537.17'

req=requests.get(url,headers=user_agent)
soup=bs.BeautifulSoup(req.text,"lxml")
print(req.status_code)
count=0
for link in soup.find_all("a"):
    print(link.get("href"))
    if search in link.text:
        wb.open(link.get("href"))

我试着把我的用户代理改成一个非常旧的，希望谷歌能恢复到html，但没有这样的运气

我知道可以用谷歌搜索API检索链接，但我很想知道是否有办法用bs4完成这项工作

你可以使用这个软件包，它可以直观地访问谷歌的搜索结果

from google import search
for result in search('example'):
    print(result)