如何使用Python Scrapy模块列出我网站上的所有URL?
我想使用Python从我的网站上刮取所有URL,并将列表写入一个文件。我查看了这些示例,但没有看到任何简单的示例可以做到这一点。以下是对我有效的python程序:如何使用Python Scrapy模块列出我网站上的所有URL?,python,web-crawler,scrapy,Python,Web Crawler,Scrapy,我想使用Python从我的网站上刮取所有URL,并将列表写入一个文件。我查看了这些示例,但没有看到任何简单的示例可以做到这一点。以下是对我有效的python程序: from scrapy.selector import HtmlXPathSelector from scrapy.spider import BaseSpider from scrapy.http import Request DOMAIN = 'example.com' URL = 'http://%s' % DOMAIN c
from scrapy.selector import HtmlXPathSelector
from scrapy.spider import BaseSpider
from scrapy.http import Request
DOMAIN = 'example.com'
URL = 'http://%s' % DOMAIN
class MySpider(BaseSpider):
name = DOMAIN
allowed_domains = [DOMAIN]
start_urls = [
URL
]
def parse(self, response):
hxs = HtmlXPathSelector(response)
for url in hxs.select('//a/@href').extract():
if not ( url.startswith('http://') or url.startswith('https://') ):
url= URL + url
print url
yield Request(url, callback=self.parse)
将其保存在名为spider.py
的文件中
然后,您可以使用shell管道对该文本进行后期处理:
bash$ scrapy runspider spider.py > urls.out
bash$ cat urls.out| grep 'example.com' |sort |uniq |grep -v '#' |grep -v 'mailto' > example.urls
这给了我一个在我的站点中所有唯一URL的列表。一些更干净(也许更有用)的东西将被使用
StackOverflow不是一个要求人们为你编写代码的网站-尝试一些东西,然后就你遇到的特定问题提出问题。你在那里试过教程吗?这是不言自明的。如果您/已经/尝试过本教程,但仍然有问题,请尝试发布一些您首先尝试过的代码(+1@Amber)Amber和inspectorG4dget,我编写了一个程序来实现这一点,但还不能发布,因为我没有足够的声誉-需要等待一段时间。明天早上我会发布解决方案。太好了。你已经得到了答案。现在继续接受答案。。。还有,哦,是的,可能会有一个“自学”徽章等着你。:)这个程序有一个小错误。行
如果不是url.startswith('http://'):
将无法正确处理https链接。@JoshuaSnider我更新了它。但这是一个简短的示例代码片段,因此并不意味着它对所有情况都具有权威性。这是否会返回网站内部或外部的链接?
from scrapy.linkextractors import LinkExtractor
def parse(self, response):
le = LinkExtractor() # empty for getting everything, check different options on documentation
for link in le.extract_links(response):
yield Request(link.url, callback=self.parse)