Javascript AngularJS应用中的网页抓取

Javascript AngularJS应用中的网页抓取,javascript,angularjs,Javascript,Angularjs,我有一个AngularJS应用程序,它当前使用http.get从API获取JSON数据。这很有效 我想知道我是否可以通过一个测试,并使用http.get的响应刮取结果 我看过关于web抓取和JavaScript库之类的教程,但我还没有能够在Angular(客户端)应用程序中成功地使用它们。在Angular中是否有使用JavaScript web scraping库的方法?没有直接的方法,因为这与Angular无关。客户端JavaScript就是这样。它在客户端上运行。您需要做的是对请求URL进行

我有一个AngularJS应用程序,它当前使用
http.get
从API获取JSON数据。这很有效

我想知道我是否可以通过一个测试,并使用http.get的响应刮取结果


我看过关于web抓取和JavaScript库之类的教程,但我还没有能够在Angular(客户端)应用程序中成功地使用它们。在Angular中是否有使用JavaScript web scraping库的方法?

没有直接的方法,因为这与Angular无关。客户端JavaScript就是这样。它在客户端上运行。您需要做的是对请求URL进行HTTP调用,并从站点检索HTML,然后解析该HTML以获取各种元数据。这需要通过对站点的服务器端调用来完成,以便从远程站点加载数据。

没有直接的方法来完成,因为这与Angular无关。客户端JavaScript就是这样。它在客户端上运行。您需要做的是对请求URL进行HTTP调用,并从站点检索HTML,然后解析该HTML以获取各种元数据。这需要通过对站点的服务器端调用来完成,以便从远程站点加载数据。

我认为这样做时可能会遇到许多安全问题。你有没有理由不想在服务器上这样做呢?不必设置自己的服务器端代码就可以删除HTML的最简单的方法之一是使用YQL和XPath条件语句。这可以返回JSON数据或XML,然后可以在客户端对其进行操作。@sideroxylon您能详细说明一下吗?可能是一个示例代码?@Xsmael我已经有一段时间没有看这个了,但首先需要设置一个类似这样的查询:
query='select*from html,其中url=“[target site]”和xpath=“[xpath query]”。然后创建一个请求URL,如下所示:
URL=''http://query.yahooapis.com/v1/public/yql?q=“+encodeURIComponent(query)+”&format=xml'
。然后把它放在一起:
$.getJSON(url+'&callback=?',函数(数据){
。看看你在
数据中得到了什么。只要确保你的xpath查询正确。此外,我认为你在这样做的时候可能会遇到一些安全问题。你有没有理由不想在服务器上这样做?不必设置自己的服务器端代码就可以刮取HTML的最简洁的方法之一是o将YQL与XPath条件语句一起使用。这可以返回JSON数据或XML,然后可以在客户端对其进行操作。@sideroxylon您能详细介绍一下吗?可能是一个示例代码?@Xsmael我已经有一段时间没有看过这个了,但首先您需要设置如下查询:
query='select*from html WHERE url=”[target site]”和xpath=“[xpath query]”;
。然后创建一个请求URL,如下所示:
URL=“”http://query.yahooapis.com/v1/public/yql?q=“+encodeURIComponent(query)+”&format=xml'
。然后将其放在一起:
$.getJSON(url+”&callback=?”,函数(数据){
。看看在
数据中得到了什么。只需确保xpath查询正确。更多