Web scraping 使用scrapy命令刮取数据

我试图从以下链接中获取数据。具体地说，我试图获取日历表中的URL。 我目前的代码是

response.xpath('//*[@id="calender"]//a/@href').extract() 

---

但这并没有给我任何结果。我哪里出错了？解决方案是什么？

如果您查看页面的源代码，就会发现您试图提取的链接不存在。
相反，有一块javascript生成它们

您有两种可能刮取此数据：

• 找出js代码的作用，并用python代码来实现 反而
• 获取一些东西（例如浏览器）来执行js代码和 为您提供生成的html

---

那么，有没有办法让这样的任务自动化？我的意思是，我可以写一些东西，这样每当我的爬虫遇到这种情况时（即使是在不同的网页上），它都能够解决它。如果你选择第二个选项，就会有问题。有很多种可能性，但使用刮屑飞溅可能是最简单的。