Mysql 如果流程项目没有';卡盘关闭时未完成,原因是否已完成?

Mysql 如果流程项目没有';卡盘关闭时未完成,原因是否已完成?,mysql,scrapy,web-crawler,pipeline,Mysql,Scrapy,Web Crawler,Pipeline,我用scrapy抓取了一些数据,并想将一些数据(项)写入mysql数据库,所以我决定用item_管道来完成这项工作 问题是,我在shell中使用“-o results.csv”命令对所有可以保存到csv的数据进行了爬网,但当我在item_pipelines的process_item函数中将它们保存到mysql时,许多数据并没有成功保存到db。 它有时会丢失一些项目数据,但日志没有错误。 process_item函数以延迟方式将项目保存到数据库。我在想,这是否是因为在spider关闭(完成)时关闭

我用scrapy抓取了一些数据,并想将一些数据(项)写入mysql数据库,所以我决定用item_管道来完成这项工作

问题是,我在shell中使用“-o results.csv”命令对所有可以保存到csv的数据进行了爬网,但当我在item_pipelines的process_item函数中将它们保存到mysql时,许多数据并没有成功保存到db。 它有时会丢失一些项目数据,但日志没有错误。 process_item函数以延迟方式将项目保存到数据库。我在想,这是否是因为在spider关闭(完成)时关闭close_spider函数中的db连接,但来自process_item函数的延迟连接尚未完成,然后被直接放弃?所以部分数据没有保存到数据库

如果事情和我说的一样,我该怎么办?使用同步方式保存数据或关闭spider而不调用db_connection.close()