Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/309.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/5/url/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 当你在网页上做出一些选择时,如何找到正确的URL?_Python_Url_Xpath_Request_Scrape - Fatal编程技术网

Python 当你在网页上做出一些选择时,如何找到正确的URL?

Python 当你在网页上做出一些选择时,如何找到正确的URL?,python,url,xpath,request,scrape,Python,Url,Xpath,Request,Scrape,我对网络抓取很陌生。通过使用xpath选择器,我试图了解该网页: 但关键是,无论何时更改日期或发电厂名称,URL都不会更改,因此当您获取响应时,您总是得到相同且错误的答案。有没有办法找到正确的URL或其他与HTML标记等相关的内容?对于这样的抓取操作,您需要做的不仅仅是加载文档然后抓取内容。在用户定义了一组特定的参数并更新了表单之后,该文档依赖于JavaScript从其他资源加载新信息 加载文档后,需要定义搜索参数。您可以通过JavaScript注入或通过浏览器的控制台来实现这一点。例如,如果试

我对网络抓取很陌生。通过使用xpath选择器,我试图了解该网页:


但关键是,无论何时更改日期或发电厂名称,URL都不会更改,因此当您获取响应时,您总是得到相同且错误的答案。有没有办法找到正确的URL或其他与HTML标记等相关的内容?

对于这样的抓取操作,您需要做的不仅仅是加载文档然后抓取内容。在用户定义了一组特定的参数并更新了表单之后,该文档依赖于JavaScript从其他资源加载新信息

加载文档后,需要定义搜索参数。您可以通过JavaScript注入或通过浏览器的控制台来实现这一点。例如,如果试图定义第一个日期字段的值,可以使用

document.querySelectorAll('#j_idt199 input')[1].value = "Some/New/Date";
对要在搜索中定义的其他字段重复此过程,然后运行以下代码以编程方式执行搜索:

document.querySelector('#j_idt199 button').click();
之后,您可以使用简单的JS查询选择器获取所需的信息,也可以实现一个类似于scraping的库来帮助您解释数据并将其导出