Parsing 捕获和分析流量

Parsing 捕获和分析流量,parsing,session,tcp,web-traffic,Parsing,Session,Tcp,Web Traffic,有几个网站对我来说有重要的数据,但是没有API函数来检索这些数据。我想得到这些信息,而且我想创建我自己的API 第一个问题是,这些网站将数据存储在其登录页面后面,因此我必须先进入其中,然后才能检索这些数据 应该提到的是,网站使用JS来检索数据和发送查询,而且还有SSL协议,所以所有流量都是加密的 我的想法是 使用Wireshark捕获流量 破译它 仔细检查包装 问题就在这里。是否有任何工具可以重建TCP会话 最后。我是否可以创建某种伪造TCP会话的API,web服务器将该会话识别为具有真实浏览器

有几个网站对我来说有重要的数据,但是没有API函数来检索这些数据。我想得到这些信息,而且我想创建我自己的API

第一个问题是,这些网站将数据存储在其登录页面后面,因此我必须先进入其中,然后才能检索这些数据

应该提到的是,网站使用JS来检索数据和发送查询,而且还有SSL协议,所以所有流量都是加密的

我的想法是

  • 使用Wireshark捕获流量
  • 破译它
  • 仔细检查包装
  • 问题就在这里。是否有任何工具可以重建TCP会话
    最后。我是否可以创建某种伪造TCP会话的API,web服务器将该会话识别为具有真实浏览器的会话,或者这是不可能的?我读过关于硒的书,但它需要太多的系统资源

    从浏览器开发人员工具读取数据更容易。它们允许您查看完整的请求数据和响应

    然后,为了模拟浏览器,您只需要发送一个类似的请求,使用相同的cookie和用户代理,与真正的浏览器没有区别


    在现代浏览器(如Firefox或Chrome)中,您可以转到开发人员工具上的“网络”选项卡,并将请求导出为
    curl
    命令,以便以后可以从命令行发送相同的请求。

    从浏览器开发人员工具读取数据更容易。它们允许您查看完整的请求数据和响应

    然后,为了模拟浏览器,您只需要发送一个类似的请求,使用相同的cookie和用户代理,与真正的浏览器没有区别

    在现代浏览器(如Firefox或Chrome)中,您可以转到开发人员工具上的“网络”选项卡,并将请求导出为
    curl
    命令,以便以后可以从命令行发送相同的请求。

    wireshark具有“跟随TCP流”选项,它将帮助您跟踪特定会话。(右键单击一个帧,您将在上下文菜单中看到它)wireshark有“跟随TCP流”选项,它将帮助您跟踪特定会话。(右键单击框架,您将在关联菜单中看到它)