Javascript 我正试图用Node.js刮取一个网站,但我被网站阻止了。我怎样才能解决这个问题?

Javascript 我正试图用Node.js刮取一个网站,但我被网站阻止了。我怎样才能解决这个问题?,javascript,node.js,heroku,web-scraping,node-horseman,Javascript,Node.js,Heroku,Web Scraping,Node Horseman,这是我正在努力清理的网站。它有一些价格表,我不能再通过我的节点应用程序(在Heroku上)访问它了。如何重新访问它?有代理或其他建议吗 下面是代码: var Horseman = require("node-horseman"); var h = new Horseman({timeout: 50000}); h.open("http://pslsource.com/buy_tennessee_titans_psl/") .waitForSelecto

这是我正在努力清理的网站。它有一些价格表,我不能再通过我的节点应用程序(在Heroku上)访问它了。如何重新访问它?有代理或其他建议吗

下面是代码:

var Horseman = require("node-horseman");

var h = new Horseman({timeout: 50000});

h.open("http://pslsource.com/buy_tennessee_titans_psl/")
.waitForSelector("body")
.text("body")
.then(function(data) {
    console.log(data);
});

注意:所有积分将支付给原始网站,我不会声称这些数据是我自己的。

事实上,您已被阻止从该网站清楚地表明,爬行该网站是违反业主的意图。您可以通过使用代理和向其API发送请求来“解决”这个问题


但是,如果对网站进行爬网实际上是一种合法的行为,那么向他们发送一封电子邮件,向他们解释为什么你打算对他们的网站进行爬网,让他们相信你的意图并不违背他们的利益。他们可能会给你一个出口。如果没有,则不要尝试从中提取数据

+1,当爬虫程序表现不好时,通常会出现这种阻塞,例如每秒请求过多。