在python中使用Beauty Soup解析网页,不适用于特定页面
python新手,我想我会尝试将网络爬虫作为第一个项目。找到了美丽的汤作为解决方案。一切都很好,只是我想抓取的一个页面没有结果: 代码如下:在python中使用Beauty Soup解析网页,不适用于特定页面,python,beautifulsoup,mechanize,Python,Beautifulsoup,Mechanize,python新手,我想我会尝试将网络爬虫作为第一个项目。找到了美丽的汤作为解决方案。一切都很好,只是我想抓取的一个页面没有结果: 代码如下: import requests from bs4 import BeautifulSoup from mechanize import Browser def crawl_list(max_pages): mech = Browser() place = 1 while place <= max_pages:
import requests
from bs4 import BeautifulSoup
from mechanize import Browser
def crawl_list(max_pages):
mech = Browser()
place = 1
while place <= max_pages:
url = "http://www.crummy.com/software/BeautifulSoup/bs4/doc/"
page = mech.open(url)
html = page.read()
soup = BeautifulSoup(html)
for link in soup.findAll('a'):
href = link.get('href')
print(href)
place += 1
crawl_list(1)
这段代码非常有效。我得到了完整的链接列表。但是,只要我输入“url”的值,就没有骰子了
也许它与.asp有关?有人能解开这个谜吗
我收到了一条错误消息:
mechanize.\u response.httperror\u seek\u包装器:HTTP错误410:消失
提前谢谢