如何抓取HTTPS javascript网页

我试图通过在线目录来监控日常价格。 该网站使用HTTPS并使用javascript生成目录页面。我如何与网站交互并使其生成我需要的页面

我已经在其他可以轻松访问HTML的站点上完成了这项工作，一旦生成HTML，我就可以解析它

我只懂Python和Java

---

提前感谢。

如果他们已经创建了一个与JavaScript接口的Web API，您可能可以直接获取它，而不是尝试使用HTML

如果他们混淆了它，或者由于其他原因该选项不可用，那么您基本上需要一个Web浏览器来评估JavaScript，然后废弃浏览器的DOM。也许可以编写一个浏览器插件？

看看——一个完全由代码控制的无头Java浏览器。这里可以看到一个简单的例子：

---

（强制性警告：通过屏幕抓取网站，您可能违反了网站的ToS，并可能面临诉讼；在开始之前，请检查是否允许您这样做）

我通过webkit的python绑定使用webkit来抓取javascript内容