PHP获取站点';谷歌排名没有爬行谷歌

PHP获取站点';谷歌排名没有爬行谷歌,php,api,search,seo,Php,Api,Search,Seo,我想以编程方式检索Google搜索结果,以便查找特定域在搜索结果页面中的排名 然而,我不想简单地抓取搜索结果页面,因为我期望大量的搜索结果,并且需要经常这样做,如果我理解正确的话,这被谷歌判定为滥用 我找到的大多数脚本/类都试图解析HTML页面,一定有更好的方法 是否有一个API来获取谷歌的搜索结果? 有什么想法吗 谢谢 几个月前,他们提供了一个免费的api。但现在它被弃用了 你可以试试他们的新产品 限制:只有100个免费查询/ 一天 首先,你应该了解一些事情: 没有“a”排名。搜索关键词时看到

我想以编程方式检索Google搜索结果,以便查找特定域在搜索结果页面中的排名

然而,我不想简单地抓取搜索结果页面,因为我期望大量的搜索结果,并且需要经常这样做,如果我理解正确的话,这被谷歌判定为滥用

我找到的大多数脚本/类都试图解析HTML页面,一定有更好的方法

是否有一个API来获取谷歌的搜索结果? 有什么想法吗


谢谢

几个月前,他们提供了一个免费的api。但现在它被弃用了

你可以试试他们的新产品

限制:只有100个免费查询/ 一天


首先,你应该了解一些事情: 没有“a”排名。搜索关键词时看到的SERP与其他人搜索关键词时看到的SERP不同。它们是一堆“个性化”因素(位置、启用cookie、即时搜索、白天、以前的搜索、web历史记录、数据中心等等),考虑到了某些东西的排名。对于一些流行的关键词来说,前三名是静态的,5到10个在不断变化,10个之后变得非常模糊,20个之后就像掷骰子一样

这只是谷歌serps方法的一个缩影

web搜索api(已弃用但仍在使用)或自定义搜索api(=crap==d*ckmove by google)的情况更糟

所以无论你做什么,你总是会得到一个几乎毫无意义的谷歌搜索结果快照

不,没有其他官方API

这是坏消息,现在是好消息。。。如果你担心自己的域名,只需进入“谷歌网站管理员工具”并点击“搜索查询”。这是你能得到的最好的信息(它仍然是模糊的,但它是你找到的,你的平均排名)。或者你可以应用一些专门的google anlaytics过滤器来检查google参考流量的排名

如果你想分析你的竞争对手,那么有很多搜索营销公司正是销售这种服务的(他们中的大多数都是专门针对每个市场的,即在德国是sistrix,在美国有很多这样的公司)


但正如我之前所说的:这些数据只是一个毫无意义的快照,大多数情况下是不可操作的

这可以通过使用不同的代理来抓取google SERP来完成,在请求之间使用随机睡眠时间,并读取和发送cookie以获得本地化结果和适当的用户代理集。我遵循这种方法,使用300个代理的代理服务器场,我可以整天抓取任何网站而不会被阻止,,您可以遵循许多技巧来防止被阻止,例如避免按顺序访问网页:/page/1、/page/2等,并且不要每N秒请求一个新网页。这两个错误都会引起人们对您的web请求的注意,因为真实用户的浏览更加随机。因此,我们需要确保以无序方式抓取网页,并为请求之间的延迟添加随机偏移量。

我不喜欢选择的答案

首先,它太笼统了,有一个SERP等级,主要取决于语言和国家。
其他因素很少是真正的因素,而且非常次要(例如,在谷歌,你可以喜欢你的网站,它们将排名靠前)

我个人做了很多测试,当我从国外搜集关键词并询问那里的人时,我得到了完全相同的关键词

现在是核心问题 Google自定义搜索API不是排名跟踪的选项,它只对少量数据研究有用。
对于Bing来说,同样的数量,而且对于更大的数量来说,这两个都是非常昂贵的

如果你想获得排名数据,你只能对搜索引擎进行抓取(爬网),这绝对是可能的(我会这样做),或者你可以使用一个抓取服务,它为你做,并将原始数据发送到你的软件(我自己也使用这个)

正如你所说,你不想自己爬,看看。
这是一个主要为开发人员设计的抓取服务。如果我没有弄错的话,您可以通过这种方式为大量关键字创建一个功能齐全的排名跟踪引擎。
如果你不想自己做的话,他们也有一些API模块来生成图表和报告(不同于sistrix,但有相同的调味汁)

就我个人而言,我还没有使用过他们的关键词跟踪器,我直接使用了谷歌和Bing的抓取API,到目前为止,它工作正常


如果你对自己的搜索引擎感兴趣,我可以帮你,这并不难(也可能是大批量的)

是否有任何免费方式每天可以获得100多个免费查询?也许是一种不同的API或方法?自定义搜索API==不同的索引那么像Sistrix这样的公司如何收集搜索引擎排名?我想建立一个可以做到这一点的网络应用程序。没有人确切知道sistrix是如何做到的(这是他们的秘方),但我听说有一家公司付钱给普通pc用户在他们的pc上安装软件,这家公司在后台任务中刮取谷歌的搜索结果。此外,你也可以使用僵尸网络(不推荐)或只是在某个地方使用托管服务器(如果你很聪明,也不会太费劲的话,这是可行的),但不管怎样,如果你这样做,你就太不符合谷歌的要求了。但正如我之前所说。不要太担心这种数据。我测试了很多这样的服务(为了赚钱),数据总是不可操作的。一般来说你是对的,但是你不能使用谷歌的公共代理“农场”,他们可能会立即禁止你。您需要高质量的私有IP才能进行可靠的擦除工作,尤其是在更高的卷中。此外,300个代理对于大型活动来说是不够的,我已经为此使用了多达1500个私有IP。