Python 想从页面获取视频时间吗

我正在为工作上一门课程。我需要记录我正在观看的每个视频的时间。我发现痒，很兴奋。我登录了我的课程，看完了该部分的所有视频

我试着打开一个粘壳：粘壳“

然后，我用Firebug在一个新的选项卡中打开页面，尝试查找包含时间的HTML标记。我发现：

标题（1:23）

和

标题（1:23）

在打开URL后的shell中，我尝试了

response.xpath（'//div[@class=“hidden”]'）

，但一无所获

以下是spider代码：

import scrapy

class DataSpider(scrapy.Spider):
name = "data"
allowed_domains = ["coursera.org"]
start_urls = [
   "https://class.coursera.org/regmods-030/lecture"
]

def parse(self, response):
    for sel in response.xpath('//ul/li'):
        item = DataItem()
        item['title'] = sel.xpath('a/text()').extract()
        item['link'] = sel.xpath('a/@href').extract()
        item['desc'] = sel.xpath('text()').extract()
        yield item`

我知道上面的代码是用于教程的，但是我找不到如何搜索div

最终，我想做的是能够将视频的时间刮到一个CSV文件中，这样我就可以将它们相加。然后我可以把这些信息提交给我的老板

---

我哪里做错了

那么，您实现了登录功能了吗？因为您可以在登录时访问Coursera的课程。当你打开网站时，Scrapy不会登录。因此，您也找不到

div

。这一点很好。你可以看到我的新保姆出现了。让我回到Scrapy文档，了解如何实现登录，然后导航到我需要的页面。我已经通过FF登录并使用了该URL。谢谢你的指点。@Ghajba：我似乎无法在那些关于使用电子邮件登录的垃圾文件中找到信息。只是formdata，这可能不适用于此代码：关于在哪里可以找到示例或其他文档，有什么想法吗？我试着搜索scrapy、电子邮件、登录。关于我需要做什么以及在哪里可以找到这方面的文档，有什么想法吗？