Php 浏览器模拟技术/技巧_Php_Asp.net_Curl_Browser_Web Scraping

Php 浏览器模拟技术/技巧

php asp.net curl browser web-scraping

Php 浏览器模拟技术/技巧,php,asp.net,curl,browser,web-scraping,Php,Asp.net,Curl,Browser,Web Scraping,我试图模拟一个web浏览器，以便登录到一个安全的站点，该站点的后端似乎是用PHP和ASP.NET混合编写的，并检索一些用户详细信息为了适合我自己的项目，模拟结果（即用户详细信息）必须返回到PHP脚本进行处理到目前为止，我一直在使用PHP中的CURL来实现这一点，并意识到该站点太复杂，无法有效地使用CURL，而且这种方法开发起来太慢。我想要的是某种浏览器模拟器，它可以：执行JavaScript 提交表格点击链接处理饼干使用ASP.NET回发可以访问DOM 基本上，它的行为与真正的

我试图模拟一个web浏览器，以便登录到一个安全的站点，该站点的后端似乎是用PHP和ASP.NET混合编写的，并检索一些用户详细信息

为了适合我自己的项目，模拟结果（即用户详细信息）必须返回到PHP脚本进行处理

到目前为止，我一直在使用PHP中的CURL来实现这一点，并意识到该站点太复杂，无法有效地使用CURL，而且这种方法开发起来太慢。我想要的是某种浏览器模拟器，它可以：

执行JavaScript
提交表格
点击链接
处理饼干
使用ASP.NET回发
可以访问DOM

基本上，它的行为与真正的浏览器完全一样，可以将页面源代码返回给我

我已经用PHP和Ruby探索了这个类。如果没有更好的选项，我将被迫使用其中一个来实施。

您有两个选项：

使用无头浏览器。这基本上是一个没有任何图形输出的浏览器，可以通过。代码。您可以查看Selenium和PhantomJS，您选择的语言可能存在绑定

逆转他们的网站。执行登录流程和操作，以获取所需的资源，并查看网络流量，例如使用Chrome的开发工具。查看相关端点所需的请求、头和表单数据，并在代码中进行仿真

PhantomJS绝对完美，谢谢！