Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/328.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
有没有一种方法可以捕获站点使用python进行的网络调用?_Python_Http_Urllib2 - Fatal编程技术网

有没有一种方法可以捕获站点使用python进行的网络调用?

有没有一种方法可以捕获站点使用python进行的网络调用?,python,http,urllib2,Python,Http,Urllib2,我查看了urllib(2)、mechanize和Beautiful Soup,希望找到能够捕获网络调用的东西,例如从页面中捕获像素/信标火焰。不幸的是,我对其中任何一个都不太熟悉,也不太清楚如何进行搜索 我想使用python来运行一系列web URL,并捕获网络称为aka pixel fires的每个URL。有谁知道我可以从哪一个方法或图书馆着手来完成这个任务 查看了网页垃圾处理,但我不想要html,相反,我认为我正在查找该网站发出的GET请求。如果我了解您想要什么,您希望记录浏览器在显示页面时

我查看了urllib(2)、mechanize和Beautiful Soup,希望找到能够捕获网络调用的东西,例如从页面中捕获像素/信标火焰。不幸的是,我对其中任何一个都不太熟悉,也不太清楚如何进行搜索

我想使用python来运行一系列web URL,并捕获网络称为aka pixel fires的每个URL。有谁知道我可以从哪一个方法或图书馆着手来完成这个任务


查看了网页垃圾处理,但我不想要html,相反,我认为我正在查找该网站发出的GET请求。

如果我了解您想要什么,您希望记录浏览器在显示页面时针对多个页面发出的请求

您可以选择使用python编写浏览器脚本(请参见:),或使用javascript编写浏览器脚本,并以某种方式(我建议使用JSON,通过请求或文件)输出结果,然后用python进行分析


老实说,您可能会发现用javascript编写脚本更容易。

如果您可以访问Firefox web浏览器,另一种可能性是安装一个功能强大的调试工具,它可以让您选择在浏览器控制台中显示网页中的所有网络流量。为了将输出从控制台传输到文件,您需要安装Firebug插件

现在,您将能够捕获从网页到文件的所有流量,然后可以使用Python解析该文件