Python 从站点内的多个链接中删除数据
我想使用scraperwiki和python来构建一个scraper,它可以从不同的站点上刮取大量的信息。我想知道是否有可能指向一个URL,然后从该站点内的每个链接中删除数据 例如:一个站点将包含关于不同项目的信息,每个项目都在其各自的链接中。我不需要这些链接的列表,而是其中包含的实际数据 刮板将在每个链接上寻找相同的属性 有人知道我如何或是否可以着手做这件事吗Python 从站点内的多个链接中删除数据,python,web-scraping,scraperwiki,Python,Web Scraping,Scraperwiki,我想使用scraperwiki和python来构建一个scraper,它可以从不同的站点上刮取大量的信息。我想知道是否有可能指向一个URL,然后从该站点内的每个链接中删除数据 例如:一个站点将包含关于不同项目的信息,每个项目都在其各自的链接中。我不需要这些链接的列表,而是其中包含的实际数据 刮板将在每个链接上寻找相同的属性 有人知道我如何或是否可以着手做这件事吗 谢谢 使用urllib2查看BeautifulSoup 一个(非常)粗略的链接刮板示例如下所示: from bs4 import B
谢谢 使用urllib2查看BeautifulSoup 一个(非常)粗略的链接刮板示例如下所示:
from bs4 import BeautifulSoup
import urllib2
c = urllib2.urlopen(url)
contents = c.read()
soup = BeautifulSoup(contents)
links = soup.find_all(a):
然后只需编写一个for循环,重复多次即可 参见@user1929959:公认的答案不是很好。