Python请求。从多个页面获取（）？

我正在学习如何使用python进行webscrape，我想知道是否可以使用

请求获取两个页面。get（）

，这样我就不必进行两个单独的调用和变量。例如：

r1 = requests.get("page1")
r2 = requests.get("page2")

pg1 = BeautifulSoup(r1.content, "html.parser")
pg2 = BeautifulSoup(r2.content, "html.parser")

---

正如你所看到的，有重复的代码。有办法吗？谢谢

您可以使用列表分配和理解，尽管它不短，只有两页

pg1, pg2 = [ BeautifulSoup(requests.get(page).content, "html.parser")
                for page in ["page1","page2"] ]

---

您可以使用列表分配和理解，尽管它不短，只有两页

pg1, pg2 = [ BeautifulSoup(requests.get(page).content, "html.parser")
                for page in ["page1","page2"] ]

---

我喜欢grequests库一次获取多个URL，而不是请求。尤其是在处理大量URL或单个URL包含多个子页面时

import grequests  
urls = ['http://google.com', 'http://yahoo.com', 'http://bing.com']  
unsent_request = (grequests.get(url) for url in urls)

results = grequests.map(unsent_request) 

在此之后，

结果

可以根据需要进行处理。这对JSON数据很有效：

results[0]

=第一个URL数据，

results[1]

=第二个URL数据，等等

---

可以找到更多内容

我喜欢grequests库，它可以一次获取多个URL，而不是请求。尤其是在处理大量URL或单个URL包含多个子页面时

import grequests  
urls = ['http://google.com', 'http://yahoo.com', 'http://bing.com']  
unsent_request = (grequests.get(url) for url in urls)

results = grequests.map(unsent_request) 

在此之后，

结果

可以根据需要进行处理。这对JSON数据很有效：

results[0]

=第一个URL数据，

results[1]

=第二个URL数据，等等

---

更多信息可以找到

我发现一个语法错误，我不知道为什么。它最后说我缺少了一个]或？我得到了一个语法错误，我不知道为什么。它说在最后我错过了一个]或？