Python 3.x 我想从<;a@href='#';onclick=";第(2)页;返回false"></a>;

Python 3.x 我想从<;a@href='#';onclick=";第(2)页;返回false"></a>;,python-3.x,xpath,web-scraping,scrapy,scrapy-splash,Python 3.x,Xpath,Web Scraping,Scrapy,Scrapy Splash,我正在使用scrapy并传递SplashRequest,我想像往常一样从@href中提取url,但当我检查href以获取实际url时,它没有被分配我要查找的url,而是我看到了“#”,然后当我将鼠标悬停在该“#”上时,我可以看到我要查找的url 如何获取该url,然后使用SplashRequest跟踪它 HTML代码如下所示:- <a @href= '#' onclick="redirectpage(2);return false" >Page 120</a> 要获取h

我正在使用scrapy并传递SplashRequest,我想像往常一样从@href中提取url,但当我检查href以获取实际url时,它没有被分配我要查找的url,而是我看到了“#”,然后当我将鼠标悬停在该“#”上时,我可以看到我要查找的url

如何获取该url,然后使用SplashRequest跟踪它

HTML代码如下所示:-

<a @href= '#' onclick="redirectpage(2);return false" >Page 120</a>

要获取href/url属性:

//div[@class='-']/a/@href


我相信这对于任何页面来说都是有效的

为了获取URL,您应该使用一些动态数据获取方法, 单击特定URL并查看响应中的URL

如果内容在页面源中不可用,则通过一些脚本动态加载。
我们应该这样处理。

当我使用x路径时,我得到的是“#”而不是url。这是我已经尝试过的xpath,如下所示,但调试程序返回“#”作为输出:-
last#page_url=response.xpath(//span[@class='showpageNum']/a)[last()-1]/@text()”。extract#first()
https://example.com/page/120