Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/323.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Javascript 客户端上的Web抓取_Javascript_Python_Node.js_Client Side - Fatal编程技术网

Javascript 客户端上的Web抓取

Javascript 客户端上的Web抓取,javascript,python,node.js,client-side,Javascript,Python,Node.js,Client Side,这可能不是这个问题的最佳标题 因此,我的服务器上运行着一个nodejs应用程序,它目前使用一个python脚本进行web抓取,但我正在考虑将其移动到客户端,因为单个客户端看到同一站点的不同版本(可能是唯一的) 我有一个理想的世界,我想使用javascript从页面(我可以通过右键单击并选择view source在chrome中看到的内容)获取html响应,然后用javascript进行处理 然而,从我在网上看到的情况来看,这似乎是不可能的。我知道有一些网站提供的回复(比如anyorigin.co

这可能不是这个问题的最佳标题

因此,我的服务器上运行着一个nodejs应用程序,它目前使用一个python脚本进行web抓取,但我正在考虑将其移动到客户端,因为单个客户端看到同一站点的不同版本(可能是唯一的)

我有一个理想的世界,我想使用javascript从页面(我可以通过右键单击并选择view source在chrome中看到的内容)获取html响应,然后用javascript进行处理

然而,从我在网上看到的情况来看,这似乎是不可能的。我知道有一些网站提供的回复(比如anyorigin.com)可以被删除。然而,这些并不真正适合我,因为我需要能够抓取用户看到的内容,因为每个用户都可能在我想要抓取的站点上看到不同的内容。我目前使用的python脚本可以做到这一点,但它需要用户安装python,以便我能够执行它,这无法保证

为这段文字道歉


这个问题有什么解决办法吗

我最近尝试做一些非常类似的事情,不幸的是,据我所知,在客户端没有这样做的方法。你可能会耍一些花招,把你需要的数据“发布”到你处理这些数据的服务器上,但我不认为这是非常有效或直接的


如果你真的发现了什么,请分享

经过一些研究和收到的建议后,我在chrome开发者网站上使用简单指南创建了一个chrome扩展,并使用CORSrequest来获得我需要的内容


如果有人发现这个问题并希望得到帮助,我很乐意提供进一步的详细信息/帮助:)

添加浏览器插件是一个选项吗?这是我正在研究的问题,因为我相信插件能够绕过javascript安全限制。我创建了一个chrome扩展,它解决了我的问题