Scrapy 检索存储在S3中的文件大小

我的爬行器使用文件管道将文件保存到S3存储桶中。我已经重写了

filespipeline.file\u path

，为每个S3 blob提供了一个漂亮的键，我的Item类有一个名为

binary\u size

的字段，我想在其中插入下载/上传文件的大小

为了实现这一点，我重写了

filespipeline.item\u completed

，在其中我在S3存储桶上查找该项（派生与

file\u path

中确定的相同的项键），获取其大小，然后将其设置为on并返回该项。看起来很简单

然而，在执行

项目_completed

期间，S3存储桶似乎尚未包含该项目。我的代码因简单的回溯“密钥不存在”而失败

当我可以确定blob将存在于S3中时，是否有一个地方可以让我在某个时候钩住来修改该项

任何线索，无论多么微弱或零碎，都将不胜感激！它运行得非常好，我不想手动完成S3的工作