如何使用Scrapy在仪表板中获取数据？

我从getaround.com上搜集了一些关于租车的数据。我最近看到，通过Javascript呈现的日历，可以通过scrapy splash获得汽车的可用性。此url中给出了一个示例：

---

我需要的信息包含在带有class

owner\u calendar\u month

的

div

标记中。但是，我看到一些数据似乎可以通过class

js\u car\u calendar\u large

在

div

标记中访问，其中属性

data path

指定

/dashboard/cars/533656/calendar

。您知道如何访问此路径吗？如果您访问

https://fr.getaround.com/dashboard/cars/533656/calendar

您会收到一个错误，提示您必须登录才能查看数据。因此，首先，如果您希望能够刮取这些数据，您必须在Scrapy中创建一个方法来登录网站。

我已经尝试过这个解决方案，它不起作用。它只是发送一个空白页面，说“这里什么都没有”。这个特定的数据源可能是私有的还是隐藏的？很可能，日历是在服务器上呈现的。因此，您必须进入页面上的日历元素以获取数据，这通常非常困难。