Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/337.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 从站点内的多个链接中删除数据_Python_Web Scraping_Scraperwiki - Fatal编程技术网

Python 从站点内的多个链接中删除数据

Python 从站点内的多个链接中删除数据,python,web-scraping,scraperwiki,Python,Web Scraping,Scraperwiki,我想使用scraperwiki和python来构建一个scraper,它可以从不同的站点上刮取大量的信息。我想知道是否有可能指向一个URL,然后从该站点内的每个链接中删除数据 例如:一个站点将包含关于不同项目的信息,每个项目都在其各自的链接中。我不需要这些链接的列表,而是其中包含的实际数据 刮板将在每个链接上寻找相同的属性 有人知道我如何或是否可以着手做这件事吗 谢谢 使用urllib2查看BeautifulSoup 一个(非常)粗略的链接刮板示例如下所示: from bs4 import B

我想使用scraperwiki和python来构建一个scraper,它可以从不同的站点上刮取大量的信息。我想知道是否有可能指向一个URL,然后从该站点内的每个链接中删除数据

例如:一个站点将包含关于不同项目的信息,每个项目都在其各自的链接中。我不需要这些链接的列表,而是其中包含的实际数据

刮板将在每个链接上寻找相同的属性

有人知道我如何或是否可以着手做这件事吗


谢谢

使用urllib2查看BeautifulSoup

一个(非常)粗略的链接刮板示例如下所示:

from bs4 import BeautifulSoup
import urllib2

c = urllib2.urlopen(url)
contents = c.read()
soup = BeautifulSoup(contents)
links = soup.find_all(a):

然后只需编写一个for循环,重复多次即可

参见@user1929959:公认的答案不是很好。