Javascript 网页抓取:像Chrome一样更新数据?

Javascript 网页抓取:像Chrome一样更新数据?,javascript,python,selenium,beautifulsoup,screen-scraping,Javascript,Python,Selenium,Beautifulsoup,Screen Scraping,我遇到的所有关于Python中web抓取的文章都引用了BeautifulSoup和Selenium作为从网页检索HTML和JavaScript内容的主要工具 但是,我还没有找到一种方法来自动更新从同一个网页收到的数据,而无需向其发送新的请求 在Python中是否不可能像在Google Chrome中那样,简单地打开一个网页,然后看着它被主机自动更新?是的,这是可能的。例如,如果使用JavaScript动态修改内容,则可以在循环中下载DOM树的元素。您还可以调用自己的JavaScript来执行特定

我遇到的所有关于Python中web抓取的文章都引用了BeautifulSoup和Selenium作为从网页检索HTML和JavaScript内容的主要工具

但是,我还没有找到一种方法来自动更新从同一个网页收到的数据,而无需向其发送新的请求


在Python中是否不可能像在Google Chrome中那样,简单地打开一个网页,然后看着它被主机自动更新?

是的,这是可能的。例如,如果使用JavaScript动态修改内容,则可以在循环中下载DOM树的元素。您还可以调用自己的JavaScript来执行特定操作。或者,您甚至可以编写和上传自己的浏览器插件。一般来说,在selenium中,您可以像普通用户一样在很大程度上控制浏览器,而无需再次刷新页面。

感谢您的快速和信息丰富的评论!我应该从中理解解决方案意味着用JavaScript编码,还是有办法用selenium在Python中实现同样的功能?在任何情况下,你会有一些想法的概念,我应该照顾找到具体的解释如何执行这个项目?亲切问候。最简单的方法是使用循环观察元素并对变化作出反应。所以,只要获取循环元素的当前状态,看看会发生什么,我将尝试一下。非常感谢您友好而有用的回答;-)如果这个答案对你有帮助,请接受它。谢谢你,祝你好运!