Cmd 明细表scrapy命令scrapy crawl
我已经构建了一个爬虫程序来抓取和提取匹配固定正则表达式的链接。现在我想在windows任务调度器中调度任务,这样它就可以使用命令行提示符Cmd 明细表scrapy命令scrapy crawl,cmd,scheduled-tasks,scrapy,Cmd,Scheduled Tasks,Scrapy,我已经构建了一个爬虫程序来抓取和提取匹配固定正则表达式的链接。现在我想在windows任务调度器中调度任务,这样它就可以使用命令行提示符scrapy crawl crawlername执行爬虫程序。任何帮助都会有用吗?您可以创建一个包含以下内容的bat文件: cd path_to_scrapy_project scrapy crawl crawlername 然后使用Windows任务计划程序计划此脚本。您可以创建类似于run.py的文件 并将您的脚本放在具有多个spider的示例中: imp
scrapy crawl crawlername
执行爬虫程序。任何帮助都会有用吗?您可以创建一个包含以下内容的bat文件:
cd path_to_scrapy_project
scrapy crawl crawlername
然后使用Windows任务计划程序计划此脚本。您可以创建类似于
run.py的文件
并将您的脚本放在具有多个spider的示例中:
import os
import logging
def crawl():
os.system('scrapy crawl spider1')
os.system('scrapy crawl spider2')
os.system('scrapy crawl spider3')
schedule.every(5).minutes.do(crawl)
while True:
schedule.run_pending()```
这是一个Windows问题,而不是一个粗糙的编码问题,对吗?也许是超级用户的?