获取网页';对象';在Javascript中

获取网页';对象';在Javascript中,javascript,webpage,Javascript,Webpage,网上有一个网页,我需要记录大量的数据。 像每个正常人一样,我不想用手来做。 那么,是否可以“导入”一个网页“对象”,使我能够访问数据字段。例如: myWebpage.getElementById("field1").value; 将返回“导入”字段中的数据。 在此方面的任何帮助都将不胜感激。或任何其他选择。 谢谢 或者,如果有人有任何更简单的方法可以用任何其他语言实现,请随意分享!这真的取决于你的技能。如果你能学习Ruby或Python之类的脚本语言,用这些语言编写网络爬虫/爬虫是非常

网上有一个网页,我需要记录大量的数据。 像每个正常人一样,我不想用手来做。 那么,是否可以“导入”一个网页“对象”,使我能够访问数据字段。例如:

    myWebpage.getElementById("field1").value;
将返回“导入”字段中的数据。 在此方面的任何帮助都将不胜感激。或任何其他选择。 谢谢


或者,如果有人有任何更简单的方法可以用任何其他语言实现,请随意分享!

这真的取决于你的技能。如果你能学习Ruby或Python之类的脚本语言,用这些语言编写网络爬虫/爬虫是非常容易的。用(插入语言)谷歌网络爬虫,你会很容易找到它们

如果您不太喜欢编程,可以尝试以下FF扩展:

还可以查看以下信息:

看一看

下面是一个示例,从网页获取一些元素:

var page = new WebPage(),
    url = 'http://lite.yelp.com/search?find_desc=pizza&find_loc=94040&find_submit=Search';

page.open(url, function (status) {
    if (status !== 'success') {
        console.log('Unable to access network');
    } else {
        var results = page.evaluate(function() {
            var list = document.querySelectorAll('span.address'), pizza = [], i;
            for (i = 0; i < list.length; i++) {
                pizza.push(list[i].innerText);
            }
            return pizza;
        });
        console.log(results.join('\n'));
    }
    phantom.exit();
});
var page=新网页(),
url='1〕http://lite.yelp.com/search?find_desc=pizza&find_loc=94040&find_submit=Search';
页面打开(url、函数(状态){
如果(状态!=“成功”){
console.log('无法访问网络');
}否则{
var results=page.evaluate(函数(){
var list=document.querySelectorAll('span.address'),pizza=[],i;
对于(i=0;i
每个页面都是不同的。因此,每个解决方案都是不同的。因此,问如何做到这一点通常是一个愚蠢的问题。而不是当你一遍又一遍地登录同一页面时。是的,如果这就是你的意思,我正在编写非常狭隘的代码。