Scrapy 登录页上的刮擦内容不能通过管道传递
我有一个elasticsearch管道,它将把所有的内容索引到elasticsearch中。我的问题是,从“开始URL”页面中刮取的内容被编入了索引。这些数据甚至没有通过我的elasticsearch管道传递。我错过了什么?在scrapy中是否有任何设置可以实现它?scrapy是否只考虑从“开始url”页面爬网的页面中刮取的内容?我不清楚您的问题,但请确保已在settings.py中添加管道Scrapy 登录页上的刮擦内容不能通过管道传递,scrapy,Scrapy,我有一个elasticsearch管道,它将把所有的内容索引到elasticsearch中。我的问题是,从“开始URL”页面中刮取的内容被编入了索引。这些数据甚至没有通过我的elasticsearch管道传递。我错过了什么?在scrapy中是否有任何设置可以实现它?scrapy是否只考虑从“开始url”页面爬网的页面中刮取的内容?我不清楚您的问题,但请确保已在settings.py中添加管道 ITEM_PIPELINES = { "your_pipeline": 100 } 但是这些内
ITEM_PIPELINES = { "your_pipeline": 100 }
但是这些内容没有通过管道。谢谢大家。。。我发现了问题。我在parse_start_url方法中缺少返回。