Python 刮片展开算法

请帮我清醒一下头脑：

我想在EC2上为我的项目设置爬网。我正在使用Scrapy和MySQL来获得结果。另外，我希望为计划爬网（例如每天）实现cron；所以我的理解是：我用所有必要的包（python、mysql、scrapy等）设置EC2；然后我创造我的蜘蛛，我测试它们；当它们工作时，我设置了cron，让爬行在没有我的情况下发生

---

我是对的还是我可能错过了什么？我需要使用Scrapyd还是它只是一个选项？

您需要一个运行Scrapy的程序。您可以使用

scrapy

命令或编写自己的脚本，也可以使用scrapyd。我个人喜欢scrapyd，因为它使事情变得更简单（包括一个nice）。

好的，所以如果我想设置它在没有我的情况下运行，我实际上需要使用scrapyd？基本上，我只是按照我解释的做，但在我测试我的爬行器之后，我使用scrapyd运行我的爬行器，然后我使用cron自动运行scrapyd？我没有看到Scrapyd在其文档中提供自动爬行（例如每小时一次），或者我遗漏了什么？实际上你不需要Scrapyd。您只需计划“刮屑爬行”。但是scrapyd可以帮助实现API和web监控等其他功能。如果您选择scrapyd，则需要使用API（可能使用

curl

）启动爬网。如果答案有帮助，请向上投票并接受它作为答案。立即接受，但由于评分不足，无法向上投票