如何使用PHP提取/获取数据并将数据(从其他电子商务网站)显示到我的网站

如何使用PHP提取/获取数据并将数据(从其他电子商务网站)显示到我的网站,php,web,e-commerce,fetch,Php,Web,E Commerce,Fetch,我见过许多电子商务门户网站,它们展示了来自世界各地另一个更大的电子商务网站的产品列表 我认为,通过在php中使用file_get_contents或CURL,抓取并不是一个大问题,但问题是 他们是否提供一些api以允许其他人获取他们的数据/产品信息 我们是否需要获得他们的权限才能从他们的站点获取数据 是否有一些优雅而具体的方法/方式来获取数据以显示在我们的网站上(而不是CURL&file\u get\u contents)?一些网站提供了访问数据的API。有些要花钱,有些可能是免费的。无论如何,

我见过许多电子商务门户网站,它们展示了来自世界各地另一个更大的电子商务网站的产品列表

我认为,通过在php中使用file_get_contents或CURL,抓取并不是一个大问题,但问题是

他们是否提供一些api以允许其他人获取他们的数据/产品信息

我们是否需要获得他们的权限才能从他们的站点获取数据


是否有一些优雅而具体的方法/方式来获取数据以显示在我们的网站上(而不是CURL&file\u get\u contents)?

一些网站提供了访问数据的API。有些要花钱,有些可能是免费的。无论如何,是的,你需要许可


但你总是可以在未经允许的情况下刮取他们的网站

这里有一些关于这个主题的一般指导原则

  • 你应该检查他们是否有robot.txt文件拒绝允许在站点的某些区域进行爬行
  • 尽管复制内容存在版权问题,但搜索引擎始终会发布网站内容的摘录。因此,在某种程度上,复制内容是必要的
  • API有时是可用的,但搜索引擎总是在没有任何许可的情况下(除了robot.text文件)抓取网站
  • 尊重网站所有者关于其带宽的意愿。编写糟糕的机器人代码可能会浪费服务器资源
  • 如果你能得到许可,那就更好了
我使用卷曲和卷曲。我不知道你还想要什么样的优雅

  • 编写一个爬虫程序,从这些网站获取您想要的所有数据
  • 如果提供的话,可以使用API。但通常成本很高
  • 使用第三方软件创建自己的API