Python 运行Anaconda Scrapy作为Cron作业

Python 运行Anaconda Scrapy作为Cron作业,python,cron,scrapy,anaconda,centos7,Python,Cron,Scrapy,Anaconda,Centos7,我正在尝试运行一个scrapy(与anaconda2一起安装)爬虫作为cron作业。到目前为止运气不好 下面是cron命令: * * * * * sh /home/username/anaconda2/folder/getdata.sh cron每1分钟运行一次(我检查了日志文件,似乎还可以) 下面是sh文件中的代码: #!/home/username/anaconda2/bin/python cd /home/username/anaconda2/crawler_folder PATH=$P

我正在尝试运行一个scrapy(与anaconda2一起安装)爬虫作为cron作业。到目前为止运气不好

下面是cron命令:

* * * * * sh /home/username/anaconda2/folder/getdata.sh
cron每1分钟运行一次(我检查了日志文件,似乎还可以) 下面是sh文件中的代码:

#!/home/username/anaconda2/bin/python
cd /home/username/anaconda2/crawler_folder
PATH=$PATH:/home/username/anaconda2/bin
export PATH
scrapy crawl spider
sh代码在终端中按预期执行,但不是作为cron作业执行。
你能帮个忙吗?

这在.sh文件和cron作业未更改的情况下对我有效

#!/home/username/anaconda2/bin/bash
PATH=/home/username/anaconda2/bin:home/username/anaconda2/sbin
cd /home/username/anaconda2/crawler_folder && scrapy crawl spider

这对我来说是一个.sh文件,cron作业没有改变

#!/home/username/anaconda2/bin/bash
PATH=/home/username/anaconda2/bin:home/username/anaconda2/sbin
cd /home/username/anaconda2/crawler_folder && scrapy crawl spider

您可能需要仔细检查您的cron日志,例如以下内容。当cron运行它时,
scrapy
命令可能不可用(您可以在
.sh
脚本中检查
哪个scrapy
),如果我这样做了,我在哪里可以看到结果?在日志中,它只显示cron作业已经执行。你读过askubuntu的回答吗?如果您执行
***sh/home/username/anaconda2/folder/getdata.sh>/home/username/myscript.log 2>&1
,您是否看到正在启动刮擦爬网?/home/username/myscript.log 2>&1??我没有看到这样的文件?我应该在终端中手动运行它吗?您可能需要仔细检查您的cron日志,例如下面的例子。当cron运行它时,
scrapy
命令可能不可用(您可以在
.sh
脚本中检查
哪个scrapy
),如果我这样做了,我在哪里可以看到结果?在日志中,它只显示cron作业已经执行。你读过askubuntu的回答吗?如果您执行
***sh/home/username/anaconda2/folder/getdata.sh>/home/username/myscript.log 2>&1
,您是否看到正在启动刮擦爬网?/home/username/myscript.log 2>&1??我没有看到这样的文件?我应该在终端中手动运行它吗?