Python 如何用刮泥刮声音云？

我正在尝试用Scrapy刮取Soundcloud并创建艺术家信息的数据帧

我尝试通过终端手动提取一位艺术家的Xpath信息。下面的代码将我重定向到错误页面。Soundcloud不支持刮削吗？你能给我一些关于如何使用Scrapy的建议吗

scrapy shell https://soundcloud.com/stavroz
view(response)

---

可能是javascript问题。Scrapy不会以本机方式解释javascript。尝试使用scrapy+splash或selenium。@Corentilimier我将对此进行研究，非常感谢您。同样，查看（响应）也不会总是有效，因为在浏览器中，页面可能会执行一些javascript并更改响应或加载额外信息。所以最好不要直接在浏览器中查看响应，而是在shell中查看html