有没有一种方法可以用Javascript在Web上抓取动态页面

因此，我一直很难用Javascript抓取网页。我抓取的网页在1秒内用Javascript动态加载数据，但当我使用Cheerio并请求时，它只抓取源代码

我想知道是否有一种方法可以使用JS来抓取网站，或者我是否需要默认使用Python

附言

我试过Dream.js，但它似乎不适合我想做的事情。 我将“rejectUnauthorized”设置为false，因为如果没有该选项，页面将不会加载，并且该站点是可信的

代码：

---

你想要的是一个无头浏览器；类似于phantomjs或headless chromeCheckout Dream.js及其evaluate（）函数。

var request = require("request");
var cheerio = require("cheerio");

var options = { uri: 'XXXXX',
                "rejectUnauthorized": false,
                json: true};

request(options, function(err, response, body){
    if(err){
        console.log(err);
    }
    if(!err && response.statusCode == 200){
        var $ = cheerio.load(body);
        console.log(response);
        var nameArr = [];
        $('a.href','.bgLightGreen.highlight.centered.nowrap').each(function(){
            ...
            ...
        })
   }
});