如何在scrapy中记录上次运行时间，以便scrapy可以从上次运行时间开始进行刮取（URL包含开始日期字段）

我有一个API，

start\u date

是一个输入字段。我想写一个每天运行的爬虫程序，从API获取数据。我想动态设置

开始日期

，这样我就不会在爬虫程序运行的最后一个日期之前刮取数据

是否有任何方法可以将上次运行日期保存在日志文件中。然后，阅读并将其传递到scrapy项目中

---

实现这一目标的典型方法是什么？目前，我正在考虑使用一个日志文件。

我认为没有一种典型的方法可以做到这一点。这似乎有很多可行的方法。如果解析日志文件对您有效，请继续。您还可以将上次运行日期写入数据库，并从中读取值，而不是解析日志文件。