Warning: file_get_contents(/data/phpspider/zhask/data//catemap/5/ruby-on-rails-4/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Database 如何实现自己的设置,以刮蜘蛛_Database_Web Scraping_Sqlalchemy_Scrapy_Connection - Fatal编程技术网

Database 如何实现自己的设置,以刮蜘蛛

Database 如何实现自己的设置,以刮蜘蛛,database,web-scraping,sqlalchemy,scrapy,connection,Database,Web Scraping,Sqlalchemy,Scrapy,Connection,有人能帮我解决这个问题吗。我想创建一个spider whitch,它会将刮取的数据保存到不同的数据库中。我试着通过“自定义设置”功能进行设置,但不起作用 我在setting.py中设置,用于连接MySql数据库 Database_1 = "{drivername}://{user}:{passwd}@{host}:{port}/{db_name}?charset=utf8".format( drivername="mysql", use

有人能帮我解决这个问题吗。我想创建一个spider whitch,它会将刮取的数据保存到不同的数据库中。我试着通过“自定义设置”功能进行设置,但不起作用

我在setting.py中设置,用于连接MySql数据库

Database_1 = "{drivername}://{user}:{passwd}@{host}:{port}/{db_name}?charset=utf8".format(
     drivername="mysql",
     user="XXX",
     passwd="XXX",
     host="XXX",
     port="XXX",
     db_name="XXX",
)
Database_2 = "{drivername}://{user}:{passwd}@{host}:{port}/{db_name}?charset=utf8".format(
     drivername="mysql",
     user="XXX",
     passwd="XXX",
     host="XXX",
     port="XXX",
     db_name="XXX",
)

CONNECTION_STRING = Database_1  # set database_1 as default

在spider中,我包含了设置自定义设置的代码,但它适用于scrapy中的默认设置,如ITEM_管道、DOWNLOADER_中间件等。。只有我已经测试过了

custom_settings = {'CONNECTION_STRING': 'Database_2'}

有人能帮助实现自己的设置吗?将DB连接到spider?如果存在另一种方式

多谢各位