Python 使用scrapy抓取无限卷轴网站？_Python_Html_Json_Selenium_Scrapy

Python 使用scrapy抓取无限卷轴网站？

python html json selenium scrapy

Python 使用scrapy抓取无限卷轴网站？,python,html,json,selenium,scrapy,Python,Html,Json,Selenium,Scrapy,我正试图从这个网站上搜集记录它使用的是无限滚动，但发出的是返回json数据的ajax请求。json数据中有一个键值是“html”：“”他们将所有html代码都放在json响应中。所以我想我的问题是，我该如何解析json数据，然后从html标记中获取所需的信息？我目前正在尝试使用刮屑和硒。非常好，谢谢！！！

我正试图从这个网站上搜集记录它使用的是无限滚动，但发出的是返回json数据的ajax请求。json数据中有一个键值是“html”：“”他们将所有html代码都放在json响应中。所以我想我的问题是，我该如何解析json数据，然后从html标记中获取所需的信息？

我目前正在尝试使用刮屑和硒。

非常好，谢谢！！！