Python 终止scrapy并保留输出文件

犯了一个编码错误，我的spdier很可能在循环中运行。如何终止spider并保存输出json文件。我的经验是，强制终止将导致不保存输出文件。有什么建议吗

pkill能否保存输出文件？

只需发送一个SIGTERM信号，一旦下载程序队列为空，scrapy将正常终止。 若您发送两个SIGTERM信号，scrapy将强制终止，并忽略downloader队列或Twisted engine中等待的任何其他内容。 如果您发送SIGKILL，进程将被转储并关闭，而不会给scrapy任何操作的机会

换句话说，默认情况下，just send kill使用SIGTERM信号。如果发送kill-9，它将使用SIGKILL信号。只需发送一个SIGTERM信号，一旦下载程序队列为空，scrapy将正常终止。 若您发送两个SIGTERM信号，scrapy将强制终止，并忽略downloader队列或Twisted engine中等待的任何其他内容。 如果您发送SIGKILL，进程将被转储并关闭，而不会给scrapy任何操作的机会

---

换句话说，默认情况下，如果发送kill-9，则只发送kill使用SIGTERM信号，它将使用SIGKILL信号

您的代码是什么？有没有可能改变你的代码而不是试图终止它？@bunbun它正在抓取大约250000个网页。我不想再重复一遍。根据，可能是由于并发_请求设置。您的代码是什么？有没有可能改变你的代码而不是试图终止它？@bunbun它正在抓取大约250000个网页。我不想再重复一遍。根据，可能是由于并发_请求设置。太好了。人有时必须有耐心！伟大的人有时必须有耐心！