C# 谷歌搜索结果

C# 谷歌搜索结果,c#,web-scraping,C#,Web Scraping,在C#中我将如何做到这一点?当我得到“”的源代码时,我得到一个脚本。我曾考虑过使用AJAX API以JSON格式获取结果,但它只适用于前32个结果。我认为如果你在更大范围内尝试,谷歌会阻止你。 如果您想被阻止并破坏TOS,您可以使用Watin来控制浏览器以克服Java脚本 如果你能描述一下为什么需要更多的结果,也许我们可以建议一种不会破坏TOS的方法。如果你想在C#中抓取一个基于Javascript的网站,比如Google,并且不依赖任何API,我推荐以下替代方案: 更新至IE 9并在Windo

在C#中我将如何做到这一点?当我得到“”的源代码时,我得到一个脚本。我曾考虑过使用AJAX API以JSON格式获取结果,但它只适用于前32个结果。

我认为如果你在更大范围内尝试,谷歌会阻止你。 如果您想被阻止并破坏TOS,您可以使用Watin来控制浏览器以克服Java脚本


如果你能描述一下为什么需要更多的结果,也许我们可以建议一种不会破坏TOS的方法。

如果你想在C#中抓取一个基于Javascript的网站,比如Google,并且不依赖任何API,我推荐以下替代方案:

  • 更新至IE 9并在Windows窗体应用程序中使用WebBrowser控件。自动执行WebBrowser控件以从站点检索信息
  • 如果您想要无头浏览器,请在.NET下使用HtmlUnit。这更复杂,但您可以看到这篇文章:

  • 可悲的是,谷歌API将很快关闭后,他们的弃用规则。我在以下网站上写了一篇关于它的文章:

    谷歌的AJAX API对于大多数用例来说都是无用的


    您可以创建一个脚本来搜索和刮取前100个结果。为避免被阻止,您可以缓慢请求或使用多个代理。确保您将用户代理设置为不可疑的内容。

    抓取谷歌是反对的。是的,谷歌有一个。使用他们的API,或者根本不要这样做。如果您需要过去的前32名结果,您(可能)做得不对。可能这是来自Microsoft的某人。。。只要确保你没有保存任何带有“torsoraphy”字样的搜索结果。