抓取网站失败，因为javascript不是'；t启用

我用Abot爬行

我想抓取一个网站，它似乎阻止了任何未启用javascript的请求 这是一个php页面，我得到了一个“请激活javascript以查看此站点”，而不是真正的站点

页面如何知道是否启用了javascript？（在你看来——你认为我能克服吗？）

---

谢谢

除非您使用支持javascript的客户端对站点进行爬网，否则您就倒霉了。

是无法下载站点还是无法正确显示站点？更可能的是，此错误是在客户端生成的，而不是直接来自服务器。当然，大多数爬虫程序都无法下载在运行时由脚本生成的内容并检查后续HTTP请求中是否存在此cookie。我得到一个页面，只是一个页面说我需要启用javascript，我猜他们使用Ajax加载页面……我在哪里可以找到这样的客户端？@RoyiM好吧，您可能需要研究可提供此类支持的各种UI测试工具。