Javascript 客户端上的Web抓取
这可能不是这个问题的最佳标题 因此,我的服务器上运行着一个nodejs应用程序,它目前使用一个python脚本进行web抓取,但我正在考虑将其移动到客户端,因为单个客户端看到同一站点的不同版本(可能是唯一的) 我有一个理想的世界,我想使用javascript从页面(我可以通过右键单击并选择view source在chrome中看到的内容)获取html响应,然后用javascript进行处理 然而,从我在网上看到的情况来看,这似乎是不可能的。我知道有一些网站提供的回复(比如anyorigin.com)可以被删除。然而,这些并不真正适合我,因为我需要能够抓取用户看到的内容,因为每个用户都可能在我想要抓取的站点上看到不同的内容。我目前使用的python脚本可以做到这一点,但它需要用户安装python,以便我能够执行它,这无法保证 为这段文字道歉Javascript 客户端上的Web抓取,javascript,python,node.js,client-side,Javascript,Python,Node.js,Client Side,这可能不是这个问题的最佳标题 因此,我的服务器上运行着一个nodejs应用程序,它目前使用一个python脚本进行web抓取,但我正在考虑将其移动到客户端,因为单个客户端看到同一站点的不同版本(可能是唯一的) 我有一个理想的世界,我想使用javascript从页面(我可以通过右键单击并选择view source在chrome中看到的内容)获取html响应,然后用javascript进行处理 然而,从我在网上看到的情况来看,这似乎是不可能的。我知道有一些网站提供的回复(比如anyorigin.co
这个问题有什么解决办法吗 我最近尝试做一些非常类似的事情,不幸的是,据我所知,在客户端没有这样做的方法。你可能会耍一些花招,把你需要的数据“发布”到你处理这些数据的服务器上,但我不认为这是非常有效或直接的
如果你真的发现了什么,请分享 经过一些研究和收到的建议后,我在chrome开发者网站上使用简单指南创建了一个chrome扩展,并使用CORSrequest来获得我需要的内容
如果有人发现这个问题并希望得到帮助,我很乐意提供进一步的详细信息/帮助:)添加浏览器插件是一个选项吗?这是我正在研究的问题,因为我相信插件能够绕过javascript安全限制。我创建了一个chrome扩展,它解决了我的问题