Javascript Node.js刮取数据点击事件

Javascript Node.js刮取数据点击事件,javascript,node.js,bots,scrape,Javascript,Node.js,Bots,Scrape,我有一个重复的任务,我必须定期做。基本上,我需要进入网站,从不同的表格中获取一些值,然后将它们写在电子表格中。通过使用这些值,进行一些计算,准备一份报告等 我想创建一个助手机器人,因为这是一个简单的任务。 我基本上可以通过打开控制台(当我在相关页面上时)来获取信息,通过使用DOM或Jquery,我可以轻松地获取数据 我想更进一步,在Node.js上创建一个应用程序(在不进入相关网站的情况下,我会将我的bot发送到相关页面,并执行与控制台相同的操作) 我开始用啦啦队写东西。然而,在某个时刻,我的机

我有一个重复的任务,我必须定期做。基本上,我需要进入网站,从不同的表格中获取一些值,然后将它们写在电子表格中。通过使用这些值,进行一些计算,准备一份报告等

我想创建一个助手机器人,因为这是一个简单的任务。 我基本上可以通过打开控制台(当我在相关页面上时)来获取信息,通过使用DOM或Jquery,我可以轻松地获取数据

我想更进一步,在Node.js上创建一个应用程序(在不进入相关网站的情况下,我会将我的bot发送到相关页面,并执行与控制台相同的操作) 我开始用啦啦队写东西。然而,在某个时刻,我的机器人需要单击一个按钮(以便更改表)。我找了,但找不到路

我的问题是“单击服务器端的按钮(更改表)并从该表获取数据是可能的吗?”

如果你知道更好的方法来创建这种机器人,请提出建议

var express = require('express');
var fs = require('fs');
var request = require('request');
var cheerio = require('cheerio');
var app     = express();

app.get('/scrape', (req, res) => {

url = 'http://www.imdb.com/title/tt1229340/';

request(url, function(error, response, html){
    if(!error){
        var $ = cheerio.load(html);

    var title, release;
    var json = { title : "", release : ""};

    $('.header').filter(() => {
        var data = $(this);
        title = data.children().first().text();            
        release = data.children().last().children().text();

        json.title = title;
        json.release = release;
    })

    // This is not possible
    $( "#target" ).click(function() {
      alert( "Handler for .click() called." );
    });
}

fs.writeFile('output.json', JSON.stringify(json, null, 4), (err) => {
    console.log('File successfully written!);
})

res.send('Check your console!')

    }) ;
})
app.listen('8080');

编辑:这个问题的答案是“使用僵尸”

现在我有另一个与此相关的问题。 我正在尝试学习和使用僵尸。我可以

  • 连接到网站
  • 去必要的桌子
  • 打印控制台所有tds
然而,使用这种方法,我只能得到真正混乱的字符串。(所有的tds都是打印出来的,没有任何空白,没有清理的机会,基本上我想把所有的tds放在一个数组中。我怎么做?)


为此,我建议您尝试使用无头浏览器,如或。您试图在上面做的是为Cheerio中的元素分配一个点击处理程序,这是行不通的

您应该能够根据Zombie.js中的元素选择器单击按钮

为此,Zombie.js中有一个browser.pressButton命令

下面是一些使用zombie.js的示例代码,在本例中,单击一个链接

const Browser = require('zombie');
const url = 'http://www.imdb.com/title/tt1229340/';

let browser = new Browser();
browser.visit(url).then(() => {
    console.log(`Visited ${url}..`);
    browser.clickLink("FULL CAST AND CREW").then(() => {
        console.log('Clicked link..');
        browser.dump();
    });
}).catch(error => {
    console.error(`Error occurred visiting ${url}`);
});
至于问题的下一部分,我们可以使用zombie.js选择元素并获取它们的文本内容数组:

const Browser = require('zombie');
const url = 'http://www.imdb.com/title/tt1229340/';

let browser = new Browser();
browser.visit(url).then(() => {
    console.log(`Visited ${url}..`);
    var result = browser.queryAll('.cast_list td');
    var cellTextArray = result.map(r => r.textContent.trim())
    .filter(text => text && (text || '').length > 3);

    console.log(cellTextArray);
}).catch(error => {
    console.error(`Error occurred visiting ${url}`);
});

非常感谢你的帮助,我真的很感激。现在,我有一个关于僵尸的小问题,我更新了这个问题。请你也检查一下好吗。再次感谢你的问题!很高兴能提供帮助,我发现僵尸在任何情况下都很有用!
const Browser = require('zombie');
const url = 'http://www.imdb.com/title/tt1229340/';

let browser = new Browser();
browser.visit(url).then(() => {
    console.log(`Visited ${url}..`);
    var result = browser.queryAll('.cast_list td');
    var cellTextArray = result.map(r => r.textContent.trim())
    .filter(text => text && (text || '').length > 3);

    console.log(cellTextArray);
}).catch(error => {
    console.error(`Error occurred visiting ${url}`);
});