Python scrapy在脚本中设置日志文件
我将scrapy与python结合使用 我想使用脚本设置日志文件 我曾经在cmd中设置日志文件,如下所示:Python scrapy在脚本中设置日志文件,python,python-2.7,scrapy,Python,Python 2.7,Scrapy,我将scrapy与python结合使用 我想使用脚本设置日志文件 我曾经在cmd中设置日志文件,如下所示: scrapy crawl myspider -s LOG_FILE=test.log 为了从脚本中执行此操作,我尝试了以下方法: settings.overrides['LOG_FILE']='Log.log' 但是该文件没有生成 为什么 编辑 剧本 def setup_crawler(domain): spider = GeneralSpider(xmlFile=domain
scrapy crawl myspider -s LOG_FILE=test.log
为了从脚本中执行此操作,我尝试了以下方法:
settings.overrides['LOG_FILE']='Log.log'
但是该文件没有生成
为什么
编辑
剧本
def setup_crawler(domain):
spider = GeneralSpider(xmlFile=domain)
settings = get_project_settings()
settings.overrides['JOBDIR']= "seen_for_"+oneSourceFolder
settings.overrides['LOG_FILE']='Log.log'
crawler = Crawler(settings)
crawler.configure()
crawler.crawl(spider)
crawler.start()
sourcesFolders=os.listdir('Appartmentforsale')
for oneSourceFolder in sourcesFolders:
setup_crawler('Appartmentforsale\\'+oneSourceFolder+'\\Items.xml')
log.start()
reactor.run()
作业目录正在运行您是否从脚本启动scrapy?如果是,您能显示代码吗?Thanks@alecxe我添加了脚本代码。请注意,作业目录正在工作,这意味着设置变量已更正。您可以尝试在
crawler.configure()
调用之前调用crawler.settings.overrides['LOG\u FILE']='LOG.LOG'
?@alecxe我这样做并运行了爬行器,但文件没有创建。不确定这是否有帮助,但看到了吗