Python 在会话期间保存所有XHR响应

Python 在会话期间保存所有XHR响应,python,xmlhttprequest,web-scraping,Python,Xmlhttprequest,Web Scraping,我正在浏览Angie的列表网站,我的Fiddler扩展插件在Chrome中打开,每次加载页面后,Fiddler都会捕获该页面的XHR响应(我相信它只是一个像素跟踪器,指示我访问新页面的事件)。我希望能够在CSV文件中自动捕获这些响应的内容。例如,如果我运行“python getXHR.py”,我希望我的csv输出文件附加: angieslist.com 我该怎么做?我比其他语言更了解Python,但其他语言也不错。如果有一种方法可以直接通过Fiddler/Firebug来实现这一点,那也没问题。

我正在浏览Angie的列表网站,我的Fiddler扩展插件在Chrome中打开,每次加载页面后,Fiddler都会捕获该页面的XHR响应(我相信它只是一个像素跟踪器,指示我访问新页面的事件)。我希望能够在CSV文件中自动捕获这些响应的内容。例如,如果我运行“python getXHR.py”,我希望我的csv输出文件附加:

angieslist.com

我该怎么做?我比其他语言更了解Python,但其他语言也不错。如果有一种方法可以直接通过Fiddler/Firebug来实现这一点,那也没问题。

使用(Firebug的扩展名),您可以将所有请求保存为JSON,然后可以使用Python(以及模块
JSON
)查找带有
X-request-With:XMLHttpRequest


顺便说一句:NetExport具有
自动导出功能

XHR
JavaScript
发送,Python从服务器获取页面时不会运行JavaScript代码。像Selenium这样的工具加载页面并运行JavaScript,但我不知道它是否可以保存XHR调用。