Warning: file_get_contents(/data/phpspider/zhask/data//catemap/5/url/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Javascript 从URL存储产品详细信息_Javascript_Url_Web Scraping_Same Origin Policy_Xml_Xpath - Fatal编程技术网

Javascript 从URL存储产品详细信息

Javascript 从URL存储产品详细信息,javascript,url,web-scraping,same-origin-policy,xml,xpath,Javascript,Url,Web Scraping,Same Origin Policy,Xml,Xpath,是否有一种方法,或者甚至可以使用URL获取产品详细信息。比如说,我粘贴了一个来自沃尔玛或百思买等商店的产品的URL,是否可以写一些东西来检索产品信息价格、名称、信息等。。这是否存在?或者,这必须是我可以为每个特定商店编写的特定于站点的内容吗?是的,这是可能的,但由于某些原因,不能使用JavaScript。您必须将该URL发送到服务器,读取服务器端的外部页面,并将结果返回给服务器 在服务器端,无论您使用哪种语言下载网页,如果可以,请使用/解析网页并提取相关信息 如前所述,请注意,一些网站禁止这种称

是否有一种方法,或者甚至可以使用URL获取产品详细信息。比如说,我粘贴了一个来自沃尔玛或百思买等商店的产品的URL,是否可以写一些东西来检索产品信息价格、名称、信息等。。这是否存在?或者,这必须是我可以为每个特定商店编写的特定于站点的内容吗?

是的,这是可能的,但由于某些原因,不能使用JavaScript。您必须将该URL发送到服务器,读取服务器端的外部页面,并将结果返回给服务器

在服务器端,无论您使用哪种语言下载网页,如果可以,请使用/解析网页并提取相关信息


如前所述,请注意,一些网站禁止这种称为“网络抓取”的访问,其他网站可能会积极尝试防止这种情况,例如通过发现假客户端。

是的,这是可能的,但由于存在漏洞,因此不使用JavaScript。您必须将该URL发送到服务器,读取服务器端的外部页面,并将结果返回给服务器

在服务器端,无论您使用哪种语言下载网页,如果可以,请使用/解析网页并提取相关信息


如前所述,请注意,一些网站禁止这种称为“网页抓取”的访问,其他网站可能会积极尝试阻止这种访问,例如通过发现假客户端。

我看到的一种解决方案是解析URL重定向到的页面的HTML代码,例如,但我不确定有问题的电子商务网站是否会喜欢这样:也许你可以问他们是否实现了API来访问他们的产品数据?

我看到的一个解决方案是解析URL重定向到使用的页面的HTML代码,例如,但我不确定有问题的电子商务网站是否会喜欢这样:也许你可以问他们是否已经实现了API来访问他们的产品数据?

你所说的是网站抓取,是的,这是可能的,而且有很多工具可以帮到你。不过,有些网站不喜欢你这样做


您可以在C中使用HttpWebRequest类从url请求数据,然后使用XmlReader或

之类的东西对其进行解析。您所说的是网站抓取,是的,这是可能的,而且有很多工具可以帮助您完成。不过,有些网站不喜欢你这样做


您可以在C中使用HttpWebRequest类从url请求数据,然后用XmlReader或

之类的东西解析它。是的,但这非常困难,通常被目标站点的T&C禁止。是的,但这非常困难,通常被目标站点的T&C禁止,在这样做的过程中,这总是会被认为是网络抓取,这是许多网站不允许的,但是,如果网站的产品有API,这将是合法的途径?@user570098:当然。然而,API通常需要身份验证,并且实现了一些速率限制。但只要你遵循T&C,你就应该做得很好。所以基本上,在这样做的过程中,这总是会被认为是许多网站不允许的网络抓取。然而,如果网站的产品有API,那将是合法的途径?@user570098:当然。然而,API通常需要身份验证,并且实现了一些速率限制。但只要你遵循T&C,你就会没事的