Scrapy不会在某些选择器中提取文本

Scrapy不会在某些选择器中提取文本,scrapy,Scrapy,我正在使用Scrapy爬行一个网站,但当我选择某些选择器时,它不会提取其中的文本 该网站是 不提取文本的选择器包括: response.css('#informacionmedicos').get() response.css('#divsinonimos').get() 它们都显示了各自的html代码行,但我看不到DOM中显示的文本(既不在html行中,也不使用::text属性)。知道发生了什么吗 感谢您,Scrapy不适用于呈现的DOM,而适用于纯源HTML。在大多数浏览器中,您可以使用C

我正在使用Scrapy爬行一个网站,但当我选择某些选择器时,它不会提取其中的文本

该网站是

不提取文本的选择器包括:

response.css('#informacionmedicos').get()
response.css('#divsinonimos').get()
它们都显示了各自的html代码行,但我看不到DOM中显示的文本(既不在html行中,也不使用::text属性)。知道发生了什么吗


感谢您,Scrapy不适用于呈现的DOM,而适用于纯源HTML。在大多数浏览器中,您可以使用
Ctrl+U
来获得它。您将发现以下片段:

<div class="panel-body" id="informacionmedicos"></div> 

如您所见,您需要的信息是使用JavaScript动态加载的。您可以尝试模拟此JavaScript请求,或者使用Scrapy Splash或类似工具

要模拟Javascript,您需要发送POST请求:
Scrapy不适用于呈现的DOM,而适用于纯源HTML。在大多数浏览器中,您可以使用
Ctrl+U
来获得它。您将发现以下片段:

<div class="panel-body" id="informacionmedicos"></div> 

如您所见,您需要的信息是使用JavaScript动态加载的。您可以尝试模拟此JavaScript请求,或者使用Scrapy Splash或类似工具

要模拟Javascript,您需要发送POST请求:

为了确认
response,它们中没有任何文本。xpath('//*[@id=“informacionmedicos”]///text()')
返回empty@wishmaster对的当您编写xpath或css选择器时,它显示为空白,但如果我查看DOM,就会看到文本(Ayuno de 12 horas)。我不知道为什么它没有识别它。@wishmaster检查DOM路径div#accordion2 div#collapse#u2#informacionmedicosthere中没有任何文本,以确认
response.xpath('/*[@id=“informacionmedicos”]///text())
返回empty@wishmaster对的当您编写xpath或css选择器时,它显示为空白,但如果我查看DOM,就会看到文本(Ayuno de 12 horas)。我不知道为什么它不能识别它。@wishmaster查看DOM路径div#accordion2 div#collapse#u2#informacionmedicost感谢您的回答。两个问题:如何使用Chrome查看源代码(使用Ctrl+U不走运)?如何模拟javascript请求?@Peretz在Chrome中单击鼠标右键后“查看页面源代码”(但默认为
Ctrl+U
),谢谢您的回答。两个问题:如何使用Chrome查看源代码(使用Ctrl+U不走运)?如何模拟javascript请求?@Peretz在Chrome中单击鼠标右键后“查看页面源代码”(但默认为
Ctrl+U