Web crawler 如何使用旅游搜索引擎&;聚合器是否获取其源数据?

Web crawler 如何使用旅游搜索引擎&;聚合器是否获取其源数据?,web-crawler,Web Crawler,我对旅游搜索引擎有一些想法,我想知道这些网站是如何获得他们的源数据的。他们会从航空公司的主页上删除所有内容吗?考虑到航空公司等的数量,这似乎是一项巨大的工作 是否有一些API或web服务标准也是每个航空公司都遵守的 我是否必须为我希望索引的每一家航空公司协商访问数据API?我假设航空公司将其所有数据公开为提要或web服务——毕竟,让其他人尽可能容易地出售其航班符合他们的利益 有趣的问题 聚合器不会刮取信息。他们也不需要这样做 航空公司提供座位和航班信息,供集成商代表其销售。与这些网站合作通常符合

我对旅游搜索引擎有一些想法,我想知道这些网站是如何获得他们的源数据的。他们会从航空公司的主页上删除所有内容吗?考虑到航空公司等的数量,这似乎是一项巨大的工作

是否有一些API或web服务标准也是每个航空公司都遵守的


我是否必须为我希望索引的每一家航空公司协商访问数据API?

我假设航空公司将其所有数据公开为提要或web服务——毕竟,让其他人尽可能容易地出售其航班符合他们的利益


有趣的问题

聚合器不会刮取信息。他们也不需要这样做

航空公司提供座位和航班信息,供集成商代表其销售。与这些网站合作通常符合航空公司的最佳利益,因为它们可以吸引眼球,进而提高客户流失率和销售率,以帮助卸下座位

众所周知,航空公司也可以直接从自己的网站进行销售。这与聚合商获得的信息相同,但航空公司自己有时会以稍微便宜的座位价格出售


他们确实使用API,但不确定它是否为标准格式

在欧洲,有一个名为tradedoubler的附属平台,似乎通过API提供此类信息


这个答案有一些有用的链接:

你也可以看看Amadeus和ITA的网站(ITA是最近的),但它们非常昂贵

我预计在谷歌交易获得批准后的一年左右,这一领域将迎来重大新闻


@Fgblanch:链接网站没有提供任何此类API,它们是某种在线广告代理。

我理解披露这些数据符合航空公司的最大利益,但这是否意味着我需要与每个航空公司协商访问这些API?是的,你必须与你想在搜索中包括的每一家航空公司进行交谈。你可能最终也不得不与他们签订协议或合同。