Python google search web scraping class=与浏览器上的不同

我试图在谷歌搜索结果中抓取视频面板

---

例如，我正在搜索-->great+castles，首先，您可以在HTML文件中编写HTML响应，并通过在浏览器中打开来检查实际得到的内容

第二，你不能轻易地从谷歌抓取数据，你需要代理，但即使使用精英代理，你也可能面临许多挑战，如reCaptcha等

text="great+castles"
url = f'https://google.com/search?q={text}'
response = requests.get(url)


print(url)

soup = BeautifulSoup(response.text,'html.parser')

a=soup.findAll('div',{'id':'main'})
a