Selenium WebDriver-如何在不在浏览器中打开网页的情况下获取网页内容
我需要保存网页的内容,但不想在任何浏览器中打开它。Selenium WebDriver-如何在不在浏览器中打开网页的情况下获取网页内容,selenium,selenium-webdriver,Selenium,Selenium Webdriver,我需要保存网页的内容,但不想在任何浏览器中打开它。 Selenium WebDriver中是否有任何方法可以通过web链接获取内容。是的,您可以使用headless。是最好的选择之一。从 var page=require('webpage')。create(), url='1〕http://lite.yelp.com/search?find_desc=pizza&find_loc=94040&find_submit=Search'; 页面打开(url、函数(状态){ 如果(状态!=“成功”){
Selenium WebDriver中是否有任何方法可以通过web链接获取内容。是的,您可以使用headless。是最好的选择之一。从
var page=require('webpage')。create(),
url='1〕http://lite.yelp.com/search?find_desc=pizza&find_loc=94040&find_submit=Search';
页面打开(url、函数(状态){
如果(状态!=“成功”){
console.log('无法访问网络');
}否则{
var results=page.evaluate(函数(){
var list=document.querySelectorAll('address'),pizza=[],i;
对于(i=0;i
不要为此使用Selenium
使用
与selenium不同,100%无头,不需要任何第三方程序来获取页面内容。如果您只想获取网页内容,那么
wget
或curl
可能比selenium更合适?您只需要一个无头浏览器。或者你也可以使用任何httpclient并解析从它们生成的响应以获取内容,但它们可能是html/xml/json格式。我们在selenium web driver中是否有一些解决方案,因为这是我需要使用的唯一工具。使用@Saifur建议的无头浏览器。。。
var page = require('webpage').create(),
url = 'http://lite.yelp.com/search?find_desc=pizza&find_loc=94040&find_submit=Search';
page.open(url, function (status) {
if (status !== 'success') {
console.log('Unable to access network');
} else {
var results = page.evaluate(function() {
var list = document.querySelectorAll('address'), pizza = [], i;
for (i = 0; i < list.length; i++) {
pizza.push(list[i].innerText);
}
return pizza;
});
console.log(results.join('\n'));
}
phantom.exit();
});