Python 如何刮取使用LiveFyre小部件的web评论?

Python 如何刮取使用LiveFyre小部件的web评论?,python,web-scraping,beautifulsoup,livefyre,Python,Web Scraping,Beautifulsoup,Livefyre,我正在使用BeautifulSoup从各种新闻文章中收集评论。但是,有一个站点正在使用LiveFyre小部件,因此当我调用: test = soup.find(id="livefyre_comment_stream") print test 我得到: <div id="livefyre_comment_stream"></div> 在div标签之间没有所有的“东西”。我认为我不能使用LiveFyreAPI,因为这不是我的网站,我也不确定我的其他选择是什么。有什么想

我正在使用BeautifulSoup从各种新闻文章中收集评论。但是,有一个站点正在使用LiveFyre小部件,因此当我调用:

test = soup.find(id="livefyre_comment_stream")
print test
我得到:

<div id="livefyre_comment_stream"></div>


在div标签之间没有所有的“东西”。我认为我不能使用LiveFyreAPI,因为这不是我的网站,我也不确定我的其他选择是什么。有什么想法吗?

我想Livefy是使用Ajax调用加载内容的,所以现在您将其刮取为空。如果您不使用对api的直接调用,则可以使用另一种模拟浏览器导航的方法(例如,检查Selenium Webdriver)。负责任的web应用程序通常使用JavaScript事件来指示其状态。我在谷歌上搜索了“LiveFyreJavaScript事件”,发现Livefyre事实上也是如此。