如何在Python中分析动态web内容？

我正在尝试将网页内容加载到数组中，这是我以前多次做的事情。然而，这一次网站的内容是动态的，当加载时，我只得到一般页面，而没有我需要的特定内容

获取和存储页面的基本过程如下：

from lxml import html
import requests
import webbrowser
import time
import pickle

page = requests.get('http://www.website.com')

tree = html.fromstring(page.content)

---

那么，我该如何加载（比如）一个包含动态内容（如拍卖物品）的拍卖网站呢？

动态内容通常使用JavaScript和AJAX请求（或WebSocket）生成。有两种解决方案：

找出页面使用的api的位置和用法，并从python端调用它。这将要求您对页面的JavaScript进行反向工程

使用web浏览器框架在后台呈现网页，并查询内容。这很可能更难设置

---

两个解决方案都需要一个好的工作，毕竟，你真的应该考虑这是否值得付出努力。 在追求知识的过程中，努力总是值得的。