Python Scrapy:使用Spider中的自定义目录保存JSON文件
我已经知道如何使用命令行将刮取的项目存储在JSON文件中。不过,我想: 1) 自定义保存JSON的目录 2) 使用my Spider中的变量自定义目录 以下是我的蜘蛛的第一行:Python Scrapy:使用Spider中的自定义目录保存JSON文件,python,scrapy,Python,Scrapy,我已经知道如何使用命令行将刮取的项目存储在JSON文件中。不过,我想: 1) 自定义保存JSON的目录 2) 使用my Spider中的变量自定义目录 以下是我的蜘蛛的第一行: import scrapy import json import math import re import calendar from datetime import datetime, timedelta from parsel import Selector class communes_spider(scrap
import scrapy
import json
import math
import re
import calendar
from datetime import datetime, timedelta
from parsel import Selector
class communes_spider(scrapy.Spider):
name = "getaround"
search_dates = ['2019-12-28']
search_date = datetime.date(datetime.strptime(search_dates[0],'%Y-%m-%d'))
crawlDate = search_date - timedelta(days=31)
panelDay = search_date.strftime("%A")
crawlDay = crawlDate.strftime("%A")
custom_settings = {
'ROBOTSTXT_OBEY' : True,
'DOWNLOAD_DELAY' : 6,
'CONCURRENT_REQUESTS' : 1,
'CONCURRENT_REQUESTS_PER_DOMAIN': 1,
'AUTOTHROTTLE_ENABLED' : True,
'AUTOTHROTTLE_START_DELAY' : 6,
'LOG_STDOUT' : True,
'LOG_FILE' : 'D:/Données/Drivy/' + search_dates[0] + '/' + 'log_' + str(crawlDate) + '_' + search_dates[0] + '.txt',
}
我想告诉spider在一个包含
搜索日期[0]
的目录中注册包含已删除项目的JSON文件。此外,JSON文件应该包含搜索日期[0]
和str(crawlDate)
。它已与日志文件一起工作。有人能帮我解决这个问题吗?谢谢 到目前为止你试过什么?您是否阅读了有关导出项目的文档?您是否了解决定输出文件名的设置?您是否尝试过使用该设置?谢谢您的评论。我已经找到了FEED\u格式
和FEED\u URI
设置选项,可以实现这一功能。