Javascript 在Python中抓取AJAX加载的网站我应该使用哪个url
我浏览了以下网站:使用硒。我正在清除所有的表格数据。它工作得很好,但运行脚本需要相当长的时间。因此,我开始搜索替代方案,并在StackOverflow上遇到了几个主题,使用API向服务器发送请求,但经过数小时的尝试和搜索(例如),我放弃了,因为我没有得到以下几点:Javascript 在Python中抓取AJAX加载的网站我应该使用哪个url,javascript,python,json,ajax,api,Javascript,Python,Json,Ajax,Api,我浏览了以下网站:使用硒。我正在清除所有的表格数据。它工作得很好,但运行脚本需要相当长的时间。因此,我开始搜索替代方案,并在StackOverflow上遇到了几个主题,使用API向服务器发送请求,但经过数小时的尝试和搜索(例如),我放弃了,因为我没有得到以下几点: 如何对API进行反向工程以发送正确的请求 我应该使用哪个url链接 这就是我想到的: import json import requests url = "https://www.eex-transparency.com/aja
- 如何对API进行反向工程以发送正确的请求
- 我应该使用哪个url链接
import json
import requests
url = "https://www.eex-transparency.com/ajax/en/navigation/ajaxGetNavi/12"
data = {
"id": "16",
"title": "Czech Republic",
"url": "https:\\/\\/www.eex-transparency.com\\/homepage\\/power\\/czech-republic",
"class": "country",
"description": "",
"children": [
{
"id": "649",
"title": "Production",
"url": False,
"class": "",
"description": "",
"children": [
{
"id": "650",
"title": "Capacity",
"url": False,
"class": "",
"description": "",
"children": [
{
"id": "651",
"title": "Installed Capacity",
"url": "https:\\/\\/www.eex-transparency.com\\/homepage\\/power\\/czech-republic\\/production\\/capacity\\/installed-capacity",
"class": "",
"description": ""
}
]
}
]
}
]
}
response = requests.get(url, data=data)
file = response.json()
一般来说,也许有人可以解释,我应该采取什么步骤来刮取后一个网页,我特别感兴趣的是如何从Chrome(->Inspect->Network->XHR)中找到正确的信息,以及如何从后一个信息中构建
数据变量(输入请求)?您可以使用Scrapy
Scrapy,一个用于Python的快速高级web爬网和抓取框架
您可以使用Scrapy
Scrapy,一个用于Python的快速高级web爬网和抓取框架