Scrapy 异常扭曲。_线程。_ithreads.AlreadyQuit:AlreadyQuit()

Scrapy 异常扭曲。_线程。_ithreads.AlreadyQuit:AlreadyQuit(),scrapy,twisted,Scrapy,Twisted,我正在运行scrapy并将结果插入mysql数据库。爬行器未成功完成,并显示以下错误: 异常扭曲。_线程。_ithreads.AlreadyQuit:AlreadyQuit() 我不知道为什么工人会死/辞职 编辑: 基本上,我习惯于插入到一个表中,该表有一个字段,该字段上有唯一的索引。 以下是我得到的全部错误: mysql_exceptions.IntegrityError:(1062,“重复输入'www.example.com'作为键'idx_url') 2016-02-01 03:22:07

我正在运行scrapy并将结果插入mysql数据库。爬行器未成功完成,并显示以下错误:

异常扭曲。_线程。_ithreads.AlreadyQuit:AlreadyQuit()

我不知道为什么工人会死/辞职

编辑: 基本上,我习惯于插入到一个表中,该表有一个字段,该字段上有唯一的索引。 以下是我得到的全部错误:

mysql_exceptions.IntegrityError:(1062,“重复输入'www.example.com'作为键'idx_url') 2016-02-01 03:22:07[twisted]严重: 异常扭曲。_线程。_ithreads.AlreadyQuit:AlreadyQuit()在>中被忽略


但我在运行了一段时间后(有时接近尾声)出现了此错误

不确定这是否有助于运行某些代码(什么代码?),并出现了一个错误(超出异常类型:什么错误?)。这可能是您的代码、scrapy或Twisted中的错误,但如果没有更多信息,我们无法知道。@Glyph您认为当爬行器几乎完成并想要关闭数据库时会发生这种情况吗?