Scrapy-Spider调度

我想安排我的蜘蛛到一个给定的时间点。例如，我想在睡觉前把蜘蛛安排在午夜。有没有什么“简单”的方法，通过命令行来安排，或者我应该使用scrapyd

根据您的系统，您可以设置cron作业：

---

您也可以使用frontera或scrapinghub:

如果爬行器在本地机器上运行，您可以使用

crontab

命令来安排您的刮片作业。例如，如果您希望安排spider每天23:00运行：

在命令行上键入

crontab-e

，然后crontab菜单将出现在shell上 如果您还没有使用crontab。它只要求您选择一个文本编辑器，以便您能够调整

cron

作业

确定要使用的编辑器后，将看到

crontab

文件的内容

将

路径

变量追加到此文件。（您只需复制

echo$PATH

的粘贴输出即可）

将此行添加到同一文件：

00 23***cd/your/scrapy/project/；你的蜘蛛名字是什么

---

进一步阅读：

您可以使用

crontab

（Linux或Unix）或

SCHTASKS

（Windows）。