Python 搜索网站

Python 搜索网站,python,urllib,Python,Urllib,当我搜索exploit-db.com网站时,我只得到25个结果,我如何才能让它转到另一个页面或通过25个结果。只需访问该网站并在手动页面时查看URL即可轻松检查:只需在URL页面=1&中的?后面放置即可查看第二页结果,或者page=2&查看第三页,依此类推 这是一个怎样的Python问题?这是一个(非常基本的!)“抓屏”问题。显然,exploit-db.com网站不允许扩展页面大小。因此,您需要通过重复urllib.urlopen()来“手动”翻阅结果列表,以获取后续页面。URL与最初使用的UR

当我搜索exploit-db.com网站时,我只得到25个结果,我如何才能让它转到另一个页面或通过25个结果。

只需访问该网站并在手动页面时查看URL即可轻松检查:只需在URL
页面=1&
中的
后面放置即可查看第二页结果,或者
page=2&
查看第三页,依此类推


这是一个怎样的Python问题?这是一个(非常基本的!)“抓屏”问题。

显然,exploit-db.com网站不允许扩展页面大小。因此,您需要通过重复urllib.urlopen()来“手动”翻阅结果列表,以获取后续页面。URL与最初使用的URL相同,加上
&page=n
参数。注意:该n值似乎是基于0的(即&page=1将给出第二页)

Alex,当搜索第1页的结果时,该值通常不会跳转到第二页,或者不会从25个结果中传递。。不知道会发生什么我想我应该把我答案的“
page=1&
加粗以查看结果的第二页”部分,因为你后来接受了一个答案(毫无疑问,我的答案和那个“跨越网络”的答案,因为它们贴得很近),正好给出了这个信息(但添加了“注意”一词)。使用regexps解析HTML是错误的。请参阅和讨论此主题的许多其他线程中的一些。
import urllib
import re
import os
search = (raw_input('[!]Search: '))
site = "http://www.exploit-db.com/list.php?description="+search+"&author=&platform=&type=&port=&osvdb=&cve="   
print site
source = urllib.urlopen(site).read()
founds = re.findall("href='/exploits/\d+",source)
print "\n[+]Search",len(founds),"Results\n"
if len(founds) >=1:
        for found in founds:
                found = found.replace("href='","")
                print "http://www.exploit-db.com"+found
else:
        print "\nCouldnt find anything with your search\n"