Scrapy scrapinghub启动作业太慢

Scrapy scrapinghub启动作业太慢,scrapy,scrapinghub,Scrapy,Scrapinghub,我是一个新来的刮痧爱好者,我在scrapinghub上做着不同的工作。我通过它们的API运行它们。问题是启动spider并初始化它需要花费太多的时间,比如30秒。当我在本地运行它时,完成爬行器最多需要5秒钟。但在scrapinghub需要2:30分钟。我知道在所有请求完成后关闭爬行器需要更多的时间,但这不是问题。无论如何,我的问题是,从我调用API开始作业的那一刻起(我看到它立即出现在正在运行的作业中,但发出第一个请求需要很长时间),以及第一个请求完成的那一刻起,我必须等待太多时间。你知道我怎样

我是一个新来的刮痧爱好者,我在scrapinghub上做着不同的工作。我通过它们的API运行它们。问题是启动spider并初始化它需要花费太多的时间,比如30秒。当我在本地运行它时,完成爬行器最多需要5秒钟。但在scrapinghub需要2:30分钟。我知道在所有请求完成后关闭爬行器需要更多的时间,但这不是问题。无论如何,我的问题是,从我调用API开始作业的那一刻起(我看到它立即出现在正在运行的作业中,但发出第一个请求需要很长时间),以及第一个请求完成的那一刻起,我必须等待太多时间。你知道我怎样才能在当地维持多久吗?谢谢

正如我在stackoverflow的其他问题中看到的那样,我已经尝试将AUTOTHROTTLE_ENABLED=false设置为。

根据:
碎片云作业在容器中运行。这些容器可以有不同的大小,这些大小由“刮云”单元定义

刮云提供:1GB内存、2.5GB磁盘空间、1x CPU和1个并发爬网插槽

可用于该作业的资源与分配的单元数成比例

这意味着分配更多的Scrapy云单位可以解决您的问题。

我只是想确认一下,我在scrapinghub上也有同样的经历。