Javascript 如何在点击按钮后显示额外文本的网站中解析文本,但该文本不在基本html中

Javascript 如何在点击按钮后显示额外文本的网站中解析文本,但该文本不在基本html中,javascript,python,html,web-scraping,beautifulsoup,Javascript,Python,Html,Web Scraping,Beautifulsoup,我正在尝试删除此页面上的所有博客链接: 单击“更多”以显示链接。但是,在html源代码中只有一个链接可见。我正在使用BeautifulSoup,如何获得其他链接?您可以继续使用请求+BeautifulSoup方法。当您单击moreblogs按钮并向下滚动页面时,只需模拟发送到服务器的底层请求 以下是从页面打印所有博客文章图像标题的代码: 印刷品: Heart and Soul Avant-Avant Different Kitchen Ladywood Orange Peel Phonogra

我正在尝试删除此页面上的所有博客链接:


单击“更多”以显示链接。但是,在html源代码中只有一个链接可见。我正在使用BeautifulSoup,如何获得其他链接?

您可以继续使用
请求
+
BeautifulSoup
方法。当您单击
moreblogs
按钮并向下滚动页面时,只需模拟发送到服务器的底层请求

以下是从页面打印所有博客文章图像标题的代码:

印刷品:

Heart and Soul
Avant-Avant
Different Kitchen
Ladywood 
Orange Peel
Phonographe Corp
...
Stadiums & Shrines
Caipirinha Lounge
Gorilla Vs. Bear
ISO50 Blog
Fluxblog
Music ( for robots)

希望这至少能让您了解在这种情况下如何刮取网页内容的基本方法。

BS+机械化或刮取。请展示您迄今为止所做的尝试。我已经尝试了BeautifulSoup。但是,html源代码并不显示所有链接,BeautifulSoup只能解析html。所以我不知道该怎么办。如果你告诉我要尝试的其他技术,我会尝试并报告。这个答案看起来很有希望,我会调查:你想要的结果是什么?谢谢你的详细回答。我了解一切,但你是如何选择那个特定的url的。该页面背后的逻辑是什么/你如何知道如何使用该页面?@Andrew我使用了浏览器开发工具(在我的例子中是Chrome)-网络选项卡-在那里你可以检查正在发生的浏览器服务器请求。
Heart and Soul
Avant-Avant
Different Kitchen
Ladywood 
Orange Peel
Phonographe Corp
...
Stadiums & Shrines
Caipirinha Lounge
Gorilla Vs. Bear
ISO50 Blog
Fluxblog
Music ( for robots)