如何使用python获取;“下一页”;在谷歌上?
假设我在谷歌上搜索关键词“python%20scrape”,我如何知道是否可以转到下一页?我如何使用python做到这一点 我目前的代码是:如何使用python获取;“下一页”;在谷歌上?,python,google-chrome,Python,Google Chrome,假设我在谷歌上搜索关键词“python%20scrape”,我如何知道是否可以转到下一页?我如何使用python做到这一点 我目前的代码是: from urllib2 import urlopen import mechanize import re from bs4 import BeautifulSoup import csv br = mechanize.Browser() br.addheaders = [('User-agent','Mozilla/5.0')] br.set_han
from urllib2 import urlopen
import mechanize
import re
from bs4 import BeautifulSoup
import csv
br = mechanize.Browser()
br.addheaders = [('User-agent','Mozilla/5.0')]
br.set_handle_robots(False)
html = br.open('http://google.com/search?q=python%20scrape')
html = html.read().lower()
接下来我应该使用什么代码?修改请求的start GET参数以更改页面上显示的结果。 比如说,
https://www.google.com/#q=python%20scape&start=0
将显示前10个
https://www.google.com/#q=python%20scape&start=10
将显示下一个10,以此类推。对不起。。。不管怎样,当你否决我的问题时,我正在编辑我的问题:什么不起作用?你被困在哪里?我是否正确理解你想从HTML中提取“下一页”链接?如果我在谷歌上搜索,会有645000个结果。我怎样才能转到下一页。。。不要认为同一个链接目前会起作用(谷歌会改变这些事情),你可以使用
start=N
作为URL参数,开始在N
第个结果中显示结果(通常每页有10个)