Python 2.7 Scrapy解析iframe url

我正在解析一个网站的链接，然后尝试解析iframe src的链接

根据调试，第一个链接似乎被正确解析，但我的输出文件中没有任何数据

是否也可以在安装后删除所有内容？在URL中。这 看起来像嵌入的iframe信息

我正在运行Centos 6.5 Python 2.7.5

scrapy runspider new.py-o videos.csv

import scrapy

class PdgaSpider(scrapy.Spider):
    name = "pdgavideos"
    start_urls = ["http://www.pdga.com/videos/"]

    def parse(self, response):
        for link in response.xpath('//td[2]/a/@href').extract():

            from scrapy.http.request import Request
            yield Request('http://www.pdga.com'+link, callback=self.parse_page, meta={'link':link})

    def parse_page(self, response):
        for frame in response.xpath("//player").extract():

            yield {
                'link': response.urljoin(frame)
            }

调试结果

预期结果

---

Scrapy不会刮取iFrame的内容，但您可以获得它们。首先获取iframe url，然后对其调用parse

urls = response.css('iframe::attr(src)').extract()
for url in urls :
        yield scrapy.Request(url....)

urls = response.css('iframe::attr(src)').extract()
for url in urls :
        yield scrapy.Request(url....)