Search 通过我的浏览器搜索谷歌网址的最简单方法?

Search 通过我的浏览器搜索谷歌网址的最简单方法?,search,screen-scraping,web-scraping,scrape,Search,Screen Scraping,Web Scraping,Scrape,当我通过谷歌搜索东西时,我想刮去我搜索返回的所有URL。我试过制作一个脚本,但谷歌不喜欢,添加cookie支持和验证码太单调乏味了。我正在寻找一种东西,当我浏览谷歌搜索页面时,它可以简单地获取页面上的所有URL,并将它们放在一个.txt文件中,或者以某种方式存储它们。 你们有谁知道有什么东西可以做到这一点吗?也许是greasemonkey脚本或firefox插件?非常感谢。谢谢 请参阅。在没有API的情况下,我为Google Scholar做了类似的事情。我的方法基本上是在Tomcat上创建一个

当我通过谷歌搜索东西时,我想刮去我搜索返回的所有URL。我试过制作一个脚本,但谷歌不喜欢,添加cookie支持和验证码太单调乏味了。我正在寻找一种东西,当我浏览谷歌搜索页面时,它可以简单地获取页面上的所有URL,并将它们放在一个.txt文件中,或者以某种方式存储它们。
你们有谁知道有什么东西可以做到这一点吗?也许是greasemonkey脚本或firefox插件?非常感谢。谢谢

请参阅。

在没有API的情况下,我为Google Scholar做了类似的事情。我的方法基本上是在Tomcat上创建一个代理web服务器—一个java web应用程序,它将获取页面,对其进行处理,然后向用户显示。这是100%功能解决方案,但需要相当多的编码。如果您感兴趣,我可以深入了解更多细节并提供一些代码。

谷歌搜索结果非常容易获取。下面是一个php示例

<?
# a trivial example of how to scrape google
$html = file_get_contents("http://www.google.com/search?q=pokemon");

$dom = new DOMDocument();
@$dom->loadHTML($html);
$x = new DOMXPath($dom);
foreach($x->query("//div[@id='ires']//h3//a") as $node)
{
    echo $node->getAttribute("href")."\n";
}
?>

您可以在以下位置尝试IRobotSoft书签插件: