Python Splash/PhantomJS(用于JavaScript呈现)可以与Wget一起下载网页吗?

Python Splash/PhantomJS(用于JavaScript呈现)可以与Wget一起下载网页吗?,python,bash,scrapy,phantomjs,wget,Python,Bash,Scrapy,Phantomjs,Wget,对于wget,在许多情况下,它只返回“轮到javascript继续” 我发现一些文章说python的scrapy with Splash/PhantomJS可以进行渲染,但我甚至不熟悉python的编程,所以如果有一些解决方案可以与wget集成,那将是完美的。谢谢您不能仅使用wget来实现这一点。但是你可以用一个小脚本: dl_page.js: const system = require('system'); const page = require('webpage').create();

对于wget,在许多情况下,它只返回“轮到javascript继续”


我发现一些文章说python的scrapy with Splash/PhantomJS可以进行渲染,但我甚至不熟悉python的编程,所以如果有一些解决方案可以与wget集成,那将是完美的。谢谢

您不能仅使用
wget
来实现这一点。但是你可以用一个小脚本:

dl_page.js

const system = require('system');
const page = require('webpage').create();

page.open(system.args[1], function()
{
    console.log(page.content);
    phantom.exit();
});
你可以用

要获取呈现的HTML,请使用,将URL作为参数传递,并可选地使用一些
wait
参数:

wget -qO- 'http://localhost:8050/render.html?url=http://www.example.com/&timeout=10&wait=0.5'
wget -qO- 'http://localhost:8050/render.html?url=http://www.example.com/&timeout=10&wait=0.5'