Scrapy xml提取器不支持';我不能坐满桌子
因此,我试图从以下位置的表中获取一组数据: 使用刮壳 我使用的xml提取器代码只是Scrapy xml提取器不支持';我不能坐满桌子,xml,shell,scrapy,extract,Xml,Shell,Scrapy,Extract,因此,我试图从以下位置的表中获取一组数据: 使用刮壳 我使用的xml提取器代码只是 response.xpath(".//tr//text()").extract() 这会得到一些数据,但当我进入开发人员控制台时,它会说“并非所有节点都显示”,因此我无法获得所有数据。我只是想知道我需要做什么才能得到所有的数据 谢谢。当你滚动时,该网站使用javascript将结果分块加载,而Scrapy在没有其他组件的情况下不会运行javascript,如。您是否尝试过通过API访问该数据包?@jschnur
response.xpath(".//tr//text()").extract()
这会得到一些数据,但当我进入开发人员控制台时,它会说“并非所有节点都显示”,因此我无法获得所有数据。我只是想知道我需要做什么才能得到所有的数据
谢谢。当你滚动时,该网站使用javascript将结果分块加载,而Scrapy在没有其他组件的情况下不会运行javascript,如。您是否尝试过通过API访问该数据包?@jschnurr否我从未听说过。它看起来很有用。非常感谢你!