Javascript 是否有java脚本web爬虫框架
是否有JavaScript web爬虫框架?请尝试。不完全是一个爬虫,但可以很容易地用于此目的。它内置了功能齐全的WebKit引擎,能够保存屏幕截图等。作为简单的命令行JS解释器工作。服务器端Javascript 是否有java脚本web爬虫框架,javascript,web-crawler,Javascript,Web Crawler,是否有JavaScript web爬虫框架?请尝试。不完全是一个爬虫,但可以很容易地用于此目的。它内置了功能齐全的WebKit引擎,能够保存屏幕截图等。作为简单的命令行JS解释器工作。服务器端 尝试节点爬虫:有一个新的框架刚刚发布,名为node.js。它在后台使用jQuery对网站的HTML页面进行爬网/索引。API和配置非常好,特别是如果您已经了解jQuery的话 从测试套件中,以下是一个在《纽约时报》网站上爬行的示例: var spider = require('../main'); sp
尝试节点爬虫:有一个新的框架刚刚发布,名为node.js。它在后台使用jQuery对网站的HTML页面进行爬网/索引。API和配置非常好,特别是如果您已经了解jQuery的话 从测试套件中,以下是一个在《纽约时报》网站上爬行的示例:
var spider = require('../main');
spider()
.route('www.nytimes.com', '/pages/dining/index.html', function (window, $) {
$('a').spider();
})
.route('travel.nytimes.com', '*', function (window, $) {
$('a').spider();
if (this.fromCache) return;
var article = { title: $('nyt_headline').text(), articleBody: '', photos: [] }
article.body = ''
$('div.articleBody').each(function () {
article.body += this.outerHTML;
})
$('div#abColumn img').each(function () {
var p = $(this).attr('src');
if (p.indexOf('ADS') === -1) {
article.photos.push(p);
}
})
console.log(article);
})
.route('dinersjournal.blogs.nytimes.com', '*', function (window, $) {
var article = {title: $('h1.entry-title').text()}
console.log($('div.entry-content').html())
})
.get('http://www.nytimes.com/pages/dining/index.html')
.log('info')
;
你能说得更具体些吗?你在寻找一个用JavaScript实现的网络爬虫吗?服务器端(Node.js)或客户端(在浏览器中)?是否有客户端webcrawler框架?我使用服务器端javascript编写了三个API。您可以从命令行运行
nodejs
,这与python
一样简单。这是一个完全正确的问题。花一个上午让spider正常工作,它无法在最新的0.6.6 node.js中运行。这是一个好的开始,但它似乎无法处理元重定向或文档库覆盖,因此它将无法抓取许多站点。但这是我见过的node最好的实现。在支持Cookie的情况下,它比其他开源爬虫要好。我不认为这是一个爬行器,因为它不编译后续URI来进行爬行。它基本上会下载给定URL的源代码,并在完成时触发回调。这取决于消费者定义抓取该页面中提供的链接的逻辑,这并不是很简单。