Google api 既然Google web搜索API已经被弃用,那么还有哪些替代方案?

Google api 既然Google web搜索API已经被弃用,那么还有哪些替代方案?,google-api,deprecated,google-search,google-custom-search,Google Api,Deprecated,Google Search,Google Custom Search,Google Web搜索API已被弃用,并被自定义搜索API取代(请参阅) 我想搜索整个网站,但它看起来像与新的API只有自定义网站可以搜索 有没有一种方法可以通过编程方式搜索整个web?我可以使用Java程序中的JSON查询旧API。您可以像浏览器一样发送它们,然后解析html,这就是我一直做的,即使是对于Youtube之类的东西。在顶部有一个注释: 注意:Google Web搜索API已经 从年起被正式否决 2010年11月1日。它将继续 按照我们的, 但是你可以提出的请求数量 每天的产量将

Google Web搜索API已被弃用,并被自定义搜索API取代(请参阅)

我想搜索整个网站,但它看起来像与新的API只有自定义网站可以搜索


有没有一种方法可以通过编程方式搜索整个web?我可以使用Java程序中的JSON查询旧API。

您可以像浏览器一样发送它们,然后解析html,这就是我一直做的,即使是对于Youtube之类的东西。

在顶部有一个注释:

注意:Google Web搜索API已经 从年起被正式否决 2010年11月1日。它将继续 按照我们的, 但是你可以提出的请求数量 每天的产量将受到限制。 因此,我们鼓励您搬到 新的


该公司表示,他们将继续运行该API 3年。因此,如果您已经有了一个使用旧API的应用程序,那么您还不必急于进行更改。如果您正在编写新的应用程序,请使用。关于如何在Python中实现这一点,请参见我的答案,但对于任何语言,想法都是一样的。

我刚刚从Common Crawl中了解到这一点


也许是我们都在寻找的答案

是的,Google Custom Search现在已经取代了旧的搜索API,但是您仍然可以使用Google Custom Search搜索整个web,尽管自定义搜索设置中的步骤并不明显

创建搜索整个web的Google自定义搜索引擎:

  • 在Google自定义搜索主页()中,单击创建自定义搜索引擎
  • 键入搜索引擎的名称和说明
  • 在“定义搜索引擎”下的“要搜索的站点”框中,输入至少一个有效的URL(目前,只需将www.anyurl.com放到该屏幕上即可。稍后将对此进行详细介绍)
  • 选择所需的CSE版本并接受服务条款,然后单击下一步。选择所需的布局选项,然后单击“下一步”
  • 单击“下一步”部分下的任何链接以导航到控制面板
  • 在左侧菜单的“控制面板”下,单击“基础”
  • 在“搜索首选项”部分,选择“搜索整个网站,但重点搜索包含的网站”
  • 单击保存更改
  • 在左侧菜单的“控制面板”下,单击“站点”
  • 删除您在初始设置过程中输入的站点
  • 现在,您的自定义搜索引擎将搜索整个web

    定价

    • 谷歌自定义搜索每天免费为您提供100个查询
    • 之后,每1000个查询支付5美元
    • 每天最多有10000个查询
    资料来源:


    • 搜索质量远低于普通谷歌搜索(没有同义词,“智能”等)
    • 谷歌似乎甚至计划完全关闭这项服务

      • Faroo有一个名为JFreeWebSearch的免费Java API,它使用了前面提到的Faroo:

        Gigablast提供了一个廉价的web搜索API:

        在自定义搜索控制面板底部有一个选项:要搜索的站点“,您可以选择搜索整个web,但强调包含的站点”

        谷歌定制搜索(如排名靠前的答案所提倡的)运行良好,但与竞争对手(见下文)或其他谷歌API相比,其价格非常昂贵。它有一个小的免费层(100个查询/天),每1000个查询的价格非常高,为5美元

        他们提供了升级到站点搜索的选项,虽然价格稍高一些,但这是为了搜索一个站点(你自己的),所以这真的是完全不同的东西——不是升级

        主要的替代方案似乎是:

        必应搜索API

        它的免费等级为5000q/月,价格从每便士5个查询开始,没有硬性限制

        更新:2016年底,该API被关闭,取而代之的是Azure对应的“认知服务Bing搜索API”:

        对于定价图表,1000笔交易以3美元/百万美元起价。除非我错过了什么东西,否则它相当昂贵

        雅虎老板搜索API
        更新:于2016年3月31日停产。
        整个网络搜索的价格大约为12个查询/便士

        还有一些我以前没听说过:


        [已停产-如下所述]

        关于其中一些问题,我们进行了一些讨论。
        [因离题而关闭,现已消失]

        您可以直接从谷歌自定义搜索主页()创建“无处不在”的自定义搜索引擎。
        在添加新引擎时,只需单击“高级”。您可以在这里提供Schema.org网站类型。“”是最通用的类型,它覆盖了所有web

        我被告知谷歌的服务条款禁止从“你明确同意不通过任何自动方式(包括使用脚本或网络爬虫)访问(或试图访问)任何服务…”开始爬网。“违反服务提供商的服务条款”从来都不是一个好的建议。解析网页是一件从一天到下一天都会毫无预兆地中断的事情,这是一个糟糕的建议——这就是为什么它被否决的次数多于被否决的次数。是的,它违反了服务条款,但就我个人而言,我不担心这一点。谷歌可以处理一点刮刮,毕竟他们在刮刮别人的网站上发了大财。来吧,人们。别那么天真。谷歌无法强迫你接受这些托斯。为了违反ToS,您必须首先同意(以书面形式,或通过单击“是,我接受条款”之类的按钮)。想想看:我在我的网页上放了一个ToS,每个访问该网页的人都必须给我10000美元。我可以对我的访客强制执行此ToS吗?警察必须马上通知我吗