使用scrapyd的优势是什么?

使用scrapyd的优势是什么?,scrapy,scrapyd,Scrapy,Scrapyd,scrapy doc说: Scrapy附带了一个名为“Scrapyd”的内置服务,它允许您使用JSON web服务部署(aka.upload)您的项目并控制它们的爬行器 使用scrapyd是否有一些优势?scrapyd允许您在不同的机器上运行scrapy,而不是通过一个方便的web API使用的机器,这意味着您可以使用curl甚至web浏览器上传新的项目版本并运行它们。否则,如果您想在云中某处运行Scrapy,您必须scp复制新的spider代码,然后使用ssh登录并生成Scrapy crawl

scrapy doc说:

Scrapy附带了一个名为“Scrapyd”的内置服务,它允许您使用JSON web服务部署(aka.upload)您的项目并控制它们的爬行器


使用scrapyd是否有一些优势?

scrapyd允许您在不同的机器上运行scrapy,而不是通过一个方便的web API使用的机器,这意味着您可以使用
curl
甚至web浏览器上传新的项目版本并运行它们。否则,如果您想在云中某处运行Scrapy,您必须
scp
复制新的spider代码,然后使用
ssh
登录并生成
Scrapy crawl myspider

如果您想并行运行多个spider,Scrapyd还将为您管理流程;但是如果您在本地机器上有Scrapy,并且可以访问命令行或运行spider的方法,并且只想一次运行一个spider,那么最好手动运行spider


如果您正在开发spider,那么您肯定不想使用
scrapyd
进行快速编译/测试迭代,因为这只会增加一层复杂性。

不久前,我实际上使用芹菜来控制我的spider。这个和那个的优缺点是什么..我如何保护web API,使端口扫描人员不知道我的Scrapyd部署,并且不能使用相同的API?我知道我迟到了3年,但我没有找到任何关于我的问题。