Web scraping 刮擦启用项目管道

Web scraping 刮擦启用项目管道,web-scraping,scrapy,web-crawler,Web Scraping,Scrapy,Web Crawler,如果在与spider相同的文件中定义ItemPipeline类,如何启用ItemPipeline。 我尝试了以下方法,但没有成功。谢谢 process = CrawlerProcess(settings={ 'ITEM_PIPELINES': {'ItemPipeline': 100} }) 不确定它是否可以工作,但您可以尝试filename.itempippeline您需要提供类的整个导入路径 例如,如果您的spider文件位于myproject/spider/myspider.py,

如果在与spider相同的文件中定义ItemPipeline类,如何启用ItemPipeline。 我尝试了以下方法,但没有成功。谢谢

process = CrawlerProcess(settings={
   'ITEM_PIPELINES': {'ItemPipeline': 100}
})

不确定它是否可以工作,但您可以尝试
filename.itempippeline
您需要提供类的整个导入路径

例如,如果您的spider文件位于
myproject/spider/myspider.py
,请使用
myproject.spider.myspider.itempipline