Python 请求只返回部分结果

Python 请求只返回部分结果,python,beautifulsoup,python-requests,Python,Beautifulsoup,Python Requests,我每天都在努力寻找媒体上排名前十的文章的链接——从外观上看,似乎所有的文章链接都在“postArticle content”类中,但当我运行这段代码时,我只得到了排名前三的文章。有没有办法把10个都弄到手 from bs4 import BeautifulSoup import requests r = requests.get("https://medium.com/browse/726a53df8c8b") data = r.text soup = BeautifulSoup(data)

我每天都在努力寻找媒体上排名前十的文章的链接——从外观上看,似乎所有的文章链接都在“postArticle content”类中,但当我运行这段代码时,我只得到了排名前三的文章。有没有办法把10个都弄到手

from bs4 import BeautifulSoup
import requests

r = requests.get("https://medium.com/browse/726a53df8c8b")
data = r.text
soup = BeautifulSoup(data)

data = soup.findAll('div', attrs={'class' : 'postArticle-content'}) 
for div in data:
    links = div.findAll('a')
    for link in links:
        print(link.get('href'))

请求
提供了全部结果

那一页只包含前三页。该网站的设计是使用在浏览器中运行的javascript代码加载附加内容并将其添加到页面中


您需要一个带有javascript引擎的完整web浏览器来完成您正在尝试做的事情。
请求
漂亮汤
库不是web浏览器。它们分别只是HTTP协议和HTML解析器的一个实现。

这很有意义——feedparser或selenium会是一种库吗?如果该站点为您提供Atom或RSS提要,那么使用它(与feedparser一起使用)将是合适的。Selenium也很合适,因为它可以让您轻松地自动化整个浏览器的操作。