Python scrapy crawl将执行所有spider';一个项目中功能外的s代码,如何解决?
spider1我想刷新所有数据并写入,spider2我想更新数据,但当我运行spider2时,数据库将执行drop,我在irc中询问过,有人告诉我,scrapy crawl将执行函数之外的所有代码 如何解决这个问题?我试过几种方法: 1,使用管道,但我想存储数据,同时导出一个json文件(这是我自己制作的jsonpipeline,但不能同时使用多个管道)。我找不到解决方案。 2、使用uu init_u函数。 我试着这样做:Python scrapy crawl将执行所有spider';一个项目中功能外的s代码,如何解决?,python,scrapy,Python,Scrapy,spider1我想刷新所有数据并写入,spider2我想更新数据,但当我运行spider2时,数据库将执行drop,我在irc中询问过,有人告诉我,scrapy crawl将执行函数之外的所有代码 如何解决这个问题?我试过几种方法: 1,使用管道,但我想存储数据,同时导出一个json文件(这是我自己制作的jsonpipeline,但不能同时使用多个管道)。我找不到解决方案。 2、使用uu init_u函数。 我试着这样做: class spider1(scrapy.Spider): na
class spider1(scrapy.Spider):
name = "spider1"
client = MongoClient('mongodb://localhost:27017/')
db=client.db
col=db.col
col.drop()
col=db.col
def parse():
class spider2(scrapy.Spider):
name = "spider2"
client = MongoClient('mongodb://localhost:27017/')
db=client.db
col=db.col
def parse():
但是,它不起作用
我一直在寻找解决这个问题的办法,但没有找到解决办法
希望有人能帮我,非常感谢!
从一个蹩脚的初学者那里你所说的“使用_init__函数。我试过这样做……但是,它不起作用”是什么意思。以下简单的2爬行器示例适用于我:。它可以打印
exampleSpeder1::\uuuu init\uuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuu。我犯了一个低级错误。0.0“init函数可以工作。我比较了你的代码,发现了错误。这是否意味着你的问题已经解决?是的,非常解决。非常感谢
spider3(scrapy.Spider):
def __init__(self):
super(spider3,self).__init__()
print 'test function'