Python 当你在网页上做出一些选择时,如何找到正确的URL?
我对网络抓取很陌生。通过使用xpath选择器,我试图了解该网页:Python 当你在网页上做出一些选择时,如何找到正确的URL?,python,url,xpath,request,scrape,Python,Url,Xpath,Request,Scrape,我对网络抓取很陌生。通过使用xpath选择器,我试图了解该网页: 但关键是,无论何时更改日期或发电厂名称,URL都不会更改,因此当您获取响应时,您总是得到相同且错误的答案。有没有办法找到正确的URL或其他与HTML标记等相关的内容?对于这样的抓取操作,您需要做的不仅仅是加载文档然后抓取内容。在用户定义了一组特定的参数并更新了表单之后,该文档依赖于JavaScript从其他资源加载新信息 加载文档后,需要定义搜索参数。您可以通过JavaScript注入或通过浏览器的控制台来实现这一点。例如,如果试
但关键是,无论何时更改日期或发电厂名称,URL都不会更改,因此当您获取响应时,您总是得到相同且错误的答案。有没有办法找到正确的URL或其他与HTML标记等相关的内容?对于这样的抓取操作,您需要做的不仅仅是加载文档然后抓取内容。在用户定义了一组特定的参数并更新了表单之后,该文档依赖于JavaScript从其他资源加载新信息 加载文档后,需要定义搜索参数。您可以通过JavaScript注入或通过浏览器的控制台来实现这一点。例如,如果试图定义第一个日期字段的值,可以使用
document.querySelectorAll('#j_idt199 input')[1].value = "Some/New/Date";
对要在搜索中定义的其他字段重复此过程,然后运行以下代码以编程方式执行搜索:
document.querySelector('#j_idt199 button').click();
之后,您可以使用简单的JS查询选择器获取所需的信息,也可以实现一个类似于scraping的库来帮助您解释数据并将其导出