Python 芹菜和苦瓜的区别

Python 芹菜和苦瓜的区别,python,celery,scrapyd,Python,Celery,Scrapyd,我用波西亚做了一只小的刮毛蜘蛛。我已经将其部署到了Scrapyd中,并且运行良好 经过搜索,我发现我们可以用芹菜来安排蜘蛛 实际上,苦瓜和芹菜有什么区别 有人能帮我吗 谢谢 主要关注于部署scrapy Spider,而它是一个通用框架,用于以分布式和可扩展的方式运行异步任务 你可以一个接一个。但是你知道的scrapy专注于抓取网页,然而芹菜可以定义你的任务 scrapy+scrapyd:scrapyd是为scrapy构建的,当你部署一个新的爬行器时,它有点像运行scrapy crawl mysp

我用波西亚做了一只小的刮毛蜘蛛。我已经将其部署到了Scrapyd中,并且运行良好

经过搜索,我发现我们可以用芹菜来安排蜘蛛

实际上,苦瓜和芹菜有什么区别

有人能帮我吗

谢谢

主要关注于部署scrapy Spider,而它是一个通用框架,用于以分布式和可扩展的方式运行异步任务

你可以一个接一个。但是你知道的scrapy专注于抓取网页,然而芹菜可以定义你的任务

scrapy+scrapyd:scrapyd是为scrapy构建的,当你部署一个新的爬行器时,它有点像运行scrapy crawl myspider。Scrapyd还提供了一个Web服务来上传和启动新的爬行器以及其他一些功能

scrapy+芹菜:您需要实现的芹菜任务基本上与scrapyd中给出的任务相同。IMO采用这种方式的主要优势是,如果您最终会有scrapyd无法提供的需求,那么使用芹菜实现这些需求会更容易,因为芹菜定义了您自己的任务

发件人:

芹菜是一种基于分布式消息传递的异步任务队列/作业队列。它专注于实时操作,但也支持调度

发件人:

Scrapyd是一个用于部署和运行Scrapy爬行器的应用程序。它使您能够使用JSON API部署、上载项目并控制它们的爬行器

主要关注于部署scrapy Spider,而while是一个通用框架,用于以分布式和可扩展的方式运行异步任务

你可以一个接一个。但是你知道的scrapy专注于抓取网页,然而芹菜可以定义你的任务

scrapy+scrapyd:scrapyd是为scrapy构建的,当你部署一个新的爬行器时,它有点像运行scrapy crawl myspider。Scrapyd还提供了一个Web服务来上传和启动新的爬行器以及其他一些功能

scrapy+芹菜:您需要实现的芹菜任务基本上与scrapyd中给出的任务相同。IMO采用这种方式的主要优势是,如果您最终会有scrapyd无法提供的需求,那么使用芹菜实现这些需求会更容易,因为芹菜定义了您自己的任务

发件人:

芹菜是一种基于分布式消息传递的异步任务队列/作业队列。它专注于实时操作,但也支持调度

发件人:

Scrapyd是一个用于部署和运行Scrapy爬行器的应用程序。它使您能够使用JSON API部署、上载项目并控制它们的爬行器


嗨@udy,在Scrapy中使用这些有什么好处。这意味着Scrapy+Scrapyd和Scrapy+Celery之间的区别在答案中增加了一个部分,HTHHi@udy,在Scrapy中使用它们的优势是什么。意思是说,Scrapy+Scrapyd和Scrapy+Celery之间的区别是什么?答案中增加了一个关于这一点的部分,对于那些投反对票的人,试着留下评论。。。我最讨厌的是投了反对票的人,试着留下评论。。。我最讨厌的就是投票时不加评论