Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/305.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
如何使我用python编写的每月运行的scraper程序自动化?_Python_Linux_Automation_Crontab_Scraper - Fatal编程技术网

如何使我用python编写的每月运行的scraper程序自动化?

如何使我用python编写的每月运行的scraper程序自动化?,python,linux,automation,crontab,scraper,Python,Linux,Automation,Crontab,Scraper,我已经编写了一个Python程序,它使用regex从网站上抓取信息。我的目标是创建一个cron作业,每月运行这个scraper 我进入了Linux终端,输入了crontab-e,并将其添加到crontab文件的底部: ** ** 我想知道: 如果这是包含在crontab文件中的正确文本 如何验证我每月运行的scraper程序和我创建的cron作业是否正常工作 我从哪里开始: 第一:Cron通过shell启动脚本。因此/home/pi/Nikita/The_Scraper/thescraper.p

我已经编写了一个Python程序,它使用regex从网站上抓取信息。我的目标是创建一个cron作业,每月运行这个scraper

我进入了Linux终端,输入了
crontab-e
,并将其添加到crontab文件的底部:

**

**

我想知道:

  • 如果这是包含在crontab文件中的正确文本

  • 如何验证我每月运行的scraper程序和我创建的cron作业是否正常工作

  • 我从哪里开始:

    第一:Cron通过shell启动脚本。因此/home/pi/Nikita/The_Scraper/thescraper.py必须具有执行权限

    第二:PATH是环境变量的名称,如果指定的脚本没有PATH,shell将在其中搜索脚本。它应该只包含目录

    第三:crontab从上到下读取。应该足够用了

    MAILTO="myemailaddress@gmail.com"
    30 8 1 * * /home/pi/Nikita/The_Scraper/thescraper.py
    
    这应该在每个月的第一天8:30运行脚本

    MAILTO设置指定外部邮件地址。您应该有一个正确配置的MTA(发送邮件的程序)运行。 该邮件的内容是邮件的STDOUT和STDERR

    要进行测试,您可以指定一个接近某个时间的时间(未来5分钟),然后看看会发生什么。此外,您还可以将输出重定向到一个文件,然后查看作业是否已运行,如果发送邮件不起作用,其输出是什么

    30 8 1 * * /home/pi/Nikita/The_Scraper/thescraper.py > /some/test/file/were/your/user/can/write
    
    如果您可以访问系统日志,则可以查看cronjob是否已执行。

    设置较低的时间范围(如1分钟)来测试它。
    30 8 1 * * /home/pi/Nikita/The_Scraper/thescraper.py > /some/test/file/were/your/user/can/write