Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/xpath/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Dom Xpath开始在Scrapy上重新调整None_Dom_Xpath_Scrapy_Web Crawler_Scrapy Spider - Fatal编程技术网

Dom Xpath开始在Scrapy上重新调整None

Dom Xpath开始在Scrapy上重新调整None,dom,xpath,scrapy,web-crawler,scrapy-spider,Dom,Xpath,Scrapy,Web Crawler,Scrapy Spider,我正在尝试爬网一个网站,为此,我使用了Scrapy。因此,当对嵌套页面执行请求时,该过程通常在第一次尝试时正确地获取信息,但在以后的请求中,节点开始不返回任何信息。我正在使用xpath的功能。下面我将粘贴解析函数的一些行: (我尝试了显式比较类值的方法) (对于这个,我使用了contains函数) (当我发现更合适时,我也使用了这个) 我在小路上做错什么了吗? 爬虫程序是否有任何理由停止正确读取节点?如果没有日志消息或爬行器代码,则无法说明问题所在,但是。。 大多数情况下,网站没有遵循严格的ht

我正在尝试爬网一个网站,为此,我使用了Scrapy。因此,当对嵌套页面执行请求时,该过程通常在第一次尝试时正确地获取信息,但在以后的请求中,节点开始不返回任何信息。我正在使用xpath的功能。下面我将粘贴解析函数的一些行:

(我尝试了显式比较类值的方法)

(对于这个,我使用了contains函数)

(当我发现更合适时,我也使用了这个)

我在小路上做错什么了吗?
爬虫程序是否有任何理由停止正确读取节点?

如果没有日志消息或爬行器代码,则无法说明问题所在,但是。。 大多数情况下,网站没有遵循严格的html结构。对于某些属性,“标题”可能在范围内 但对于下一次迭代,它可能是 span[@class=“inlineFree”]/h1/text()或或任何其他标记
因此,您应该检查html中是否有返回值的内容

请显示您的输出日志或spider的codeERROR:spider error processing(referer:)Traceback(最近一次调用):File“/home/grad/si/16/guilherme.hra/anaconda3/lib/python3.6/site packages/twisted/internet/defer.py”,第654行,在runCallbacks current.result=callback中(current.result,*args,**kw)view=int(response.xpath('//span[contains(@class,“count”)]/text()).extract_first().replace(',','')AttributeError:'NoneType'对象没有属性'replace'@gangabass
title = response.xpath('//span[@class="inlineFree"]/text()').extract_first()
view = response.xpath('//span[contains(@class,"count")]/text()').extract_first()
comments = response.css('div.commentMessage > span::text').extract()