在Ubuntu AWS上调度Python Scrapy

在Ubuntu AWS上调度Python Scrapy,python,cron,web-scraping,scrapy,scheduled-tasks,Python,Cron,Web Scraping,Scrapy,Scheduled Tasks,我用python上的scrapy框架编写了一个脚本 我可以通过运行scrapy crawl mycrawler成功运行脚本,并在控制台中运行 我还可以通过shell脚本sh job.sh和scrapy crawl mycrawler成功运行脚本 然而,当涉及到CRON和调度任务时,我无法让它完成 我已经尝试了这里的所有东西,包括关于路径的多种东西等等 我可以从cron成功运行job.sh,并且可以调试启动/完成,但根本不会为scrapy行提供任何输出 当然我错过了一些简单的东西,非常感谢 你为什

我用python上的
scrapy
框架编写了一个脚本

我可以通过运行
scrapy crawl mycrawler
成功运行脚本,并在控制台中运行

我还可以通过shell脚本
sh job.sh
scrapy crawl mycrawler
成功运行脚本

然而,当涉及到
CRON
和调度任务时,我无法让它完成

我已经尝试了这里的所有东西,包括关于路径的多种东西等等

我可以从cron成功运行
job.sh
,并且可以调试启动/完成,但根本不会为
scrapy
行提供任何输出


当然我错过了一些简单的东西,非常感谢

你为什么不在Scrapinghub的Scrapy Cloud中运行它?看:太棒了,你能自己主持吗?我可以从那里发送到外部数据库吗?如果不是,我需要上面的答案:POf课程!这是一个很棒的PaaS(平台即服务)。试试看!酷平台,继续做好工作:)为什么不在Scrapinghub的Scrapy Cloud中运行它?看:太棒了,你能自己主持吗?我可以从那里发送到外部数据库吗?如果不是,我需要上面的答案:POf课程!这是一个很棒的PaaS(平台即服务)。试试看!酷平台,继续做好工作:)