使用Python从internet获取与给定关键字相关的所有URL

我正在用BeautifulSoup学习刮痧。我想做的是从互联网上获取与关键字相关的所有可用URL

---

有什么方法可以做到这一点吗？

您可以使用请求python库在google上搜索。 通过pip安装请求安装请求 您可以使用google搜索任何内容，并使用Beautifulsoup解析结果。 下面的代码在google上搜索查询，然后使用BeautifulSoup获取google返回的URL

import requests
import urllib
from bs4 import BeautifulSoup

query = 'any search term'


r = requests.get('https://www.google.com/search?q={}'.format(query))
soup = BeautifulSoup(r.text, "html.parser")
links = []
for item in soup.find_all('h3', attrs={'class' : 'r'}):
    links.append(item.a['href'])

print(links)

---

这个问题太宽泛了，无法回答。请阅读。另外，对于初学者来说，请看一下。这可能对你有帮助。