我能';t使用scrapy提取链接

我能';t使用scrapy提取链接,scrapy,scrapy-shell,Scrapy,Scrapy Shell,我需要帮助以提取页面中的链接: 你可以缩短它,你不必从最上面的元素到你的目标。这样调试就容易多了 response.css('div.developments-search-details-component a::attr(href)').get() 如果愿意,可以将其更改为Xpath。但通常,当您尝试将某个元素作为目标,而它返回null或空列表时,这是因为键入错误,或者是因为该元素在页面加载后被动态呈现 要进行调试,我通常从树中较高的元素开始,看看是否存在。 在这种情况下,您可以尝试:

我需要帮助以提取页面中的链接:


你可以缩短它,你不必从最上面的元素到你的目标。这样调试就容易多了

response.css('div.developments-search-details-component a::attr(href)').get()
如果愿意,可以将其更改为Xpath。但通常,当您尝试将某个元素作为目标,而它返回null或空列表时,这是因为键入错误,或者是因为该元素在页面加载后被动态呈现

要进行调试,我通常从树中较高的元素开始,看看是否存在。 在这种情况下,您可以尝试:

response.css('div.developments-search-details-component').get()

首先,看看这是否有效。

谢谢你,菲利克斯。我发现元素是用javascript动态呈现的。我不知道你是怎么得到它的。你可以看看我在这里给出的答案的最后一部分。