Database 是否有一种从主要零售商处获取产品信息(价格、属性、门店可用性)的简单方法?

Database 是否有一种从主要零售商处获取产品信息(价格、属性、门店可用性)的简单方法?,database,Database,我正在寻找建立一个应用程序,将需要从多个商店(主要是大型零售商,wmt,亚马逊,家得宝可能等)的信息,他们的产品提供。我需要的大多数信息都可以在他们各自的网站上找到,但我想知道是否有更简单的方法可以以高效和应用程序友好的方式获得某些信息(如商品名称、价格、颜色、大小等属性,以及理想的商店可用性)。我希望能够将这些数据提取到一个数据库(或者可能是一个只存在于内存中的对象),然后从那里开始尽可能多地分析 可以对他们的网站进行爬网,但我感觉这在实践中相当困难,并且可能在他们更改网站时中断(因此可能不可

我正在寻找建立一个应用程序,将需要从多个商店(主要是大型零售商,wmt,亚马逊,家得宝可能等)的信息,他们的产品提供。我需要的大多数信息都可以在他们各自的网站上找到,但我想知道是否有更简单的方法可以以高效和应用程序友好的方式获得某些信息(如商品名称、价格、颜色、大小等属性,以及理想的商店可用性)。我希望能够将这些数据提取到一个数据库(或者可能是一个只存在于内存中的对象),然后从那里开始尽可能多地分析

可以对他们的网站进行爬网,但我感觉这在实践中相当困难,并且可能在他们更改网站时中断(因此可能不可靠)

我想知道是否有人知道提供API、电子表格、数据库或其他有效收集这些基本产品信息的方法的商店。我知道有很多购物应用程序都可以做这样的事情,它们通常可以访问数据库还是都在后台抓取网站?我假设大多数商店都不愿意让我接触到任何不公开的东西,至少一开始不会

谢谢,
Ryan

以下是您可能感兴趣的一些网站:


通常我在上面链接的网站上找到的信息都是众包的。我不知道有哪家零售商愿意提供您所需的信息。

许多网站提供结构化数据,例如,使用Schema.org词汇表()标记的数据,因此如果您想要爬网,建议使用Microdata/RDFa/JSON-LD解析器来检索结构化数据,而不是从页面中删除内容。