Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/google-cloud-platform/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Scrapy 登录页上的刮擦内容不能通过管道传递_Scrapy - Fatal编程技术网

Scrapy 登录页上的刮擦内容不能通过管道传递

Scrapy 登录页上的刮擦内容不能通过管道传递,scrapy,Scrapy,我有一个elasticsearch管道,它将把所有的内容索引到elasticsearch中。我的问题是,从“开始URL”页面中刮取的内容被编入了索引。这些数据甚至没有通过我的elasticsearch管道传递。我错过了什么?在scrapy中是否有任何设置可以实现它?scrapy是否只考虑从“开始url”页面爬网的页面中刮取的内容?我不清楚您的问题,但请确保已在settings.py中添加管道 ITEM_PIPELINES = { "your_pipeline": 100 } 但是这些内

我有一个elasticsearch管道,它将把所有的内容索引到elasticsearch中。我的问题是,从“开始URL”页面中刮取的内容被编入了索引。这些数据甚至没有通过我的elasticsearch管道传递。我错过了什么?在scrapy中是否有任何设置可以实现它?scrapy是否只考虑从“开始url”页面爬网的页面中刮取的内容?

我不清楚您的问题,但请确保已在settings.py中添加管道

    ITEM_PIPELINES = { "your_pipeline": 100 }

但是这些内容没有通过管道。谢谢大家。。。我发现了问题。我在parse_start_url方法中缺少返回。