Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/javascript/402.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Javascript 当其他网站发布新内容时,是否有任何功能更新您的网站?_Javascript - Fatal编程技术网

Javascript 当其他网站发布新内容时,是否有任何功能更新您的网站?

Javascript 当其他网站发布新内容时,是否有任何功能更新您的网站?,javascript,Javascript,例如,每次亚马逊添加新产品时,我都想更新我的商品列表,在不知道他们的系统或数据库的情况下是否可以这样做?不幸的是,没有!!!这是网站内容依赖第三方网站的缺点。但是,使用您想要访问其数据的站点的API可以提供此功能,但这并不适用于所有站点。如果第三方站点没有提供访问其数据的API,您需要“刮取”该数据的站点。然而,从理论上讲,这是很容易的,像亚马逊这样的大公司故意试图挫败刮刮的企图。请看一个专门针对这个问题的开源项目:作者说最好: 亚马逊已经求助于将越来越多的内容转移到iFrame中,而这是这个刮

例如,每次亚马逊添加新产品时,我都想更新我的商品列表,在不知道他们的系统或数据库的情况下是否可以这样做?

不幸的是,没有!!!这是网站内容依赖第三方网站的缺点。但是,使用您想要访问其数据的站点的API可以提供此功能,但这并不适用于所有站点。

如果第三方站点没有提供访问其数据的API,您需要“刮取”该数据的站点。然而,从理论上讲,这是很容易的,像亚马逊这样的大公司故意试图挫败刮刮的企图。请看一个专门针对这个问题的开源项目:作者说最好:

亚马逊已经求助于将越来越多的内容转移到iFrame中,而这是这个刮刀无法处理的。我设想,如果没有更复杂的逻辑,大多数数据将无法访问

我花了很长时间试图让这些刮刀工作,这是一场永无止境的战斗。我没有时间继续跟上亚马逊的步伐。如果您对改进Amazon Scraper感兴趣,请让我知道(创建问题很好)。感谢您的帮助


如果您想构建一个自定义工具来抓取公共网站,我会查看Node.js。它之所以流行是因为它能够有效地查询页面DOM。有一些好的编写方法可以开始使用:

您的服务器必须定期爬网amazon产品列表并检查更新。这其实并不难做到。我建议使用Node.js!有些网站提供可以在后端使用的Webhook。我怀疑亚马逊是否提供了tho.Amazon只是一个例子,但我会搜索node.js谢谢!