Browser detection 我如何判断网站是如何确定浏览器是否启用了JS的?

Browser detection 我如何判断网站是如何确定浏览器是否启用了JS的?,browser-detection,lwp,browser-feature-detection,emulation,Browser Detection,Lwp,Browser Feature Detection,Emulation,我们有一个Perl脚本,它模拟使用LWP::UserAgent登录到网站并下载一些数据的浏览器。最近,该网站被更改,因此您必须启用JavaScript才能登录。我们如何知道网站正在做什么来确定是否启用了JavaScript,和/或我们如何使用LWP::UserAgent来欺骗网站,使其认为它是启用了JavaScript的浏览器?大多数网站只要求启用JavaScript才能登录,如果登录成功实际需要的话。他们可能使用javascript设置cookie或显示登录表单。也许登录是使用XMLHTTPR

我们有一个Perl脚本,它模拟使用LWP::UserAgent登录到网站并下载一些数据的浏览器。最近,该网站被更改,因此您必须启用JavaScript才能登录。我们如何知道网站正在做什么来确定是否启用了JavaScript,和/或我们如何使用LWP::UserAgent来欺骗网站,使其认为它是启用了JavaScript的浏览器?

大多数网站只要求启用JavaScript才能登录,如果登录成功实际需要的话。他们可能使用javascript设置cookie或显示登录表单。也许登录是使用XMLHTTPRequest完成的。在大多数情况下,你将无法欺骗它;实际上,您需要一个支持javascript的浏览器。获取可嵌入版本的webkit或其他东西。

事实证明,我们看到的问题根本不是Perl脚本的问题……而是配置文件中的错误

在研究这个问题时,有人提出了一个很棒的工具,称为wsp Web Scraping Proxy。这是一个很好的建议,可以确切地了解服务器和浏览器之间发生了什么


感谢您抽出时间回答问题。

您能发布一些代码和/或网站URL吗?