使用Python从url下载HTML页面
我在网上找不到任何方法。 可以使用BeautifulSoup或类似的东西从url地址下载完整的HTML页面文件吗 谢谢你的帮助使用Python从url下载HTML页面,python,python-3.x,web-scraping,beautifulsoup,Python,Python 3.x,Web Scraping,Beautifulsoup,我在网上找不到任何方法。 可以使用BeautifulSoup或类似的东西从url地址下载完整的HTML页面文件吗 谢谢你的帮助 import requests r = requests.get('http://example.com') with open('example.html', 'wb') as f: f.write(r.content) 上面的块不会用Javascript呈现任何内容。如果需要Javascript呈现的内容,则可以使用请求html库(pip安装请求htm
import requests
r = requests.get('http://example.com')
with open('example.html', 'wb') as f:
f.write(r.content)
上面的块不会用Javascript呈现任何内容。如果需要Javascript呈现的内容,则可以使用请求html
库(pip安装请求html
):
太好了,它起作用了!谢谢但是,有一个问题,当我下载页面时,它会说禁用了JavaScript,但当我正常地从浏览器(CTRL+S)下载页面时,它工作正常。你知道吗,如果我能修好的话?仅支持Python 3.6。您正在使用Python 2吗?不,我正在运行Python 3.6.4
from requests_html import HTMLSession
session = HTMLSession()
r = session.get('http://example.com')
with open('example.html', 'wb') as f:
f.write(r.content)