是否可以在客户端使用纯javascript登录来刮取网站

是否可以在客户端使用纯javascript登录来刮取网站,javascript,web-scraping,Javascript,Web Scraping,我已经成功地清理了那些只需要使用js而不需要登录的网站,以及一些允许我通过CORS问题(比如allorigins)的网站的帮助,但我就是无法通过登录问题。 我看到很多帖子都在讨论如何使用node.js和python beautifulsoup,但没有一篇是关于如何使用javascript的 那我该怎么做呢? 是否有可能纯粹在客户端完成 我愿意做所有需要的学习和搜索工作,但我需要在这个庞大的主题上有一些指导。假设你是指在浏览器中使用JavaScript,你是如何做到的?如果您这样做了,那么一旦页面

我已经成功地清理了那些只需要使用js而不需要登录的网站,以及一些允许我通过CORS问题(比如allorigins)的网站的帮助,但我就是无法通过登录问题。 我看到很多帖子都在讨论如何使用node.js和python beautifulsoup,但没有一篇是关于如何使用javascript的

那我该怎么做呢? 是否有可能纯粹在客户端完成


我愿意做所有需要的学习和搜索工作,但我需要在这个庞大的主题上有一些指导。

假设你是指在浏览器中使用JavaScript,你是如何做到的?如果您这样做了,那么一旦页面在成功登录后刷新,您的代码将停止运行,除非您是浏览器扩展


如果你的意思是在你的计算机上,那么节点就是你要找的,但是除非你使用像这样的项目,否则你会遇到在请求之间保存cookies的问题,这就是跟踪你的会话并让你真正登录的原因。

假设你的意思是在浏览器中使用JavaScript,你是怎么做到的?如果您这样做了,那么一旦页面在成功登录后刷新,您的代码将停止运行,除非您是浏览器扩展


如果你的意思是在你的计算机上,那么节点就是你要找的,但是除非你使用像这样的项目,否则你会遇到在请求之间保存cookie的问题,这就是跟踪会话并让你真正登录的原因。

登录需要与浏览器直接交互,就像保存cookie一样,返回安全令牌等

如果从html页面使用JavaScript,理论上需要访问另一个页面,至少在iFrame中。在iFrame中使用javascript可以做的事情是有限的


用其他的词你试着模仿类似的东西。试试看。它与Java一起工作。您可以像真实用户一样控制浏览器,告诉用户该做什么,并获取结果,甚至截图。

登录需要与浏览器直接交互,如保存cookie、返回安全令牌等

如果从html页面使用JavaScript,理论上需要访问另一个页面,至少在iFrame中。在iFrame中使用javascript可以做的事情是有限的


用其他的词你试着模仿类似的东西。试试看。它与Java一起工作。你可以像真正的用户一样控制你的浏览器,告诉你该做什么,然后获取结果,甚至截图。

除非你找到一个支持这样做的第三方网站,否则你不能。定义一个网站?@MadeInDreams从网站提取数据这个词是“scrape”,带有一个“e.”“scrape”表示完全不同的内容。请提供您尝试过的具体示例和代码好吗?除非您找到支持此操作的第三方网站,否则您无法定义网站?定义废弃网站?@MadeInDreams从网站提取数据单词是“scrape”,带有“e.”“scrape”你能提供你尝试过的具体例子和代码吗?我是通过这样的网站了解到的。谢谢你的邀请answer@naor.z如果这解决了你的问题,你能把这个解决方案作为答案发布并接受吗?@omegastripes虽然这个答案很有用,但它并没有回答原来的问题。我投了更高的票,但这不是我想要的答案。我用这样的网站绕过了它。谢谢你的邀请answer@naor.z如果这解决了你的问题,你能把这个解决方案作为答案发布并接受吗?@omegastripes虽然这个答案很有用,但它并没有回答原来的问题。我投了更高的票,但这不是我想要的答案。。