Database 如何实现自己的设置,以刮蜘蛛
有人能帮我解决这个问题吗。我想创建一个spider whitch,它会将刮取的数据保存到不同的数据库中。我试着通过“自定义设置”功能进行设置,但不起作用 我在setting.py中设置,用于连接MySql数据库Database 如何实现自己的设置,以刮蜘蛛,database,web-scraping,sqlalchemy,scrapy,connection,Database,Web Scraping,Sqlalchemy,Scrapy,Connection,有人能帮我解决这个问题吗。我想创建一个spider whitch,它会将刮取的数据保存到不同的数据库中。我试着通过“自定义设置”功能进行设置,但不起作用 我在setting.py中设置,用于连接MySql数据库 Database_1 = "{drivername}://{user}:{passwd}@{host}:{port}/{db_name}?charset=utf8".format( drivername="mysql", use
Database_1 = "{drivername}://{user}:{passwd}@{host}:{port}/{db_name}?charset=utf8".format(
drivername="mysql",
user="XXX",
passwd="XXX",
host="XXX",
port="XXX",
db_name="XXX",
)
Database_2 = "{drivername}://{user}:{passwd}@{host}:{port}/{db_name}?charset=utf8".format(
drivername="mysql",
user="XXX",
passwd="XXX",
host="XXX",
port="XXX",
db_name="XXX",
)
CONNECTION_STRING = Database_1 # set database_1 as default
在spider中,我包含了设置自定义设置的代码,但它适用于scrapy中的默认设置,如ITEM_管道、DOWNLOADER_中间件等。。只有我已经测试过了
custom_settings = {'CONNECTION_STRING': 'Database_2'}
有人能帮助实现自己的设置吗?将DB连接到spider?如果存在另一种方式
多谢各位