C# 加载google';将页面转换为字符串

C# 加载google';将页面转换为字符串,c#,web-crawler,C#,Web Crawler,我需要分析谷歌上的一个特定页面,我直接喜欢这个页面。当我把这个链接粘贴到IE上时,效果很好 现在我试着自动化这个过程 WebClient w = new WebClient(); string s = w.DownloadString("https://www.google.com/#q=" + MYSEARCHSTRING + "&start=0"); 但是它没有将页面正确加载到“s”中。当加载带有代码的url时,您不能在其中使用“#”字符,因为这是一

我需要分析谷歌上的一个特定页面,我直接喜欢这个页面。当我把这个链接粘贴到IE上时,效果很好

现在我试着自动化这个过程

WebClient w = new WebClient();
                string s = w.DownloadString("https://www.google.com/#q=" + MYSEARCHSTRING + "&start=0");

但是它没有将页面正确加载到“s”中。

当加载带有代码的url时,您不能在其中使用“#”字符,因为这是一个字符,google现在使用javascript运行搜索,因此浏览器不再请求每个页面

为此,您需要使用较旧的搜索语法:
https://www.google.com/search?q=

一个更好的解决方案可能是使用API来搜索:,使用它会更好地解析结果,在Google上也会更好

需要注意的一件事是确保您使用的结果符合服务条款,使用API也有助于避免滥用它,我从未查看过搜索条款,因此我不确定可能存在哪些限制