Python 如何在scrapy中创建webcrawler以获取.mp3链接

我想做一个webcrawler，可以从网站获取.mp3链接。但是，示例站点中的内容是动态的。在这个站点中，内容是从获取的。一些随机的.mp3“我们如何使用python中的scrapy抓取整个站点并获取所有mp3链接？或者有其他方法吗？

您可以使用python的

beautifulsoup

包

导入httplib2
从BeautifulSoup进口BeautifulSoup，SoupStrainer
http=httplib2.http（）
状态，响应=http.request（'http://www.nytimes.com')

对于BeautifulSoup中的链接（响应，parseOnlyThese=soupTrainer（'a'））：
如果link.has_attr（'href'）：
打印链接['href']

只需检查该URL在该链接中是否有

.mp3

。如果是，请将其存储在列表中，否则继续

希望这有帮助