Scrapy xml提取器不支持';我不能坐满桌子

Scrapy xml提取器不支持';我不能坐满桌子,xml,shell,scrapy,extract,Xml,Shell,Scrapy,Extract,因此,我试图从以下位置的表中获取一组数据: 使用刮壳 我使用的xml提取器代码只是 response.xpath(".//tr//text()").extract() 这会得到一些数据,但当我进入开发人员控制台时,它会说“并非所有节点都显示”,因此我无法获得所有数据。我只是想知道我需要做什么才能得到所有的数据 谢谢。当你滚动时,该网站使用javascript将结果分块加载,而Scrapy在没有其他组件的情况下不会运行javascript,如。您是否尝试过通过API访问该数据包?@jschnur

因此,我试图从以下位置的表中获取一组数据: 使用刮壳

我使用的xml提取器代码只是

response.xpath(".//tr//text()").extract()
这会得到一些数据,但当我进入开发人员控制台时,它会说“并非所有节点都显示”,因此我无法获得所有数据。我只是想知道我需要做什么才能得到所有的数据


谢谢。

当你滚动时,该网站使用javascript将结果分块加载,而Scrapy在没有其他组件的情况下不会运行javascript,如。您是否尝试过通过API访问该数据包?@jschnurr否我从未听说过。它看起来很有用。非常感谢你!