从谷歌1000抓取数据+;php中带有curl的请求

从谷歌1000抓取数据+;php中带有curl的请求,php,curl,php-curl,Php,Curl,Php Curl,我有一个从谷歌抓取数据的问题,因为太多的请求被谷歌阻止了,我需要做机器人验证,因为我在本地主机上做这是不可能的,我尝试使用代理从谷歌获取数据,但我得到了一个空数组,我可以在没有谷歌阻止的情况下进行1000多个请求的抓取吗?我试图检查我的网站是否在谷歌上建立了索引,但由于请求很少,我被阻止了。我能以某种方式阻止吗 <?php require "simple_html_dom.php"; $result = array(); $sites_urls

我有一个从谷歌抓取数据的问题,因为太多的请求被谷歌阻止了,我需要做机器人验证,因为我在本地主机上做这是不可能的,我尝试使用代理从谷歌获取数据,但我得到了一个空数组,我可以在没有谷歌阻止的情况下进行1000多个请求的抓取吗?我试图检查我的网站是否在谷歌上建立了索引,但由于请求很少,我被阻止了。我能以某种方式阻止吗

<?php
    require "simple_html_dom.php";

    $result = array();
    $sites_urls = $_POST['sites_urls'];
    $proxy = '88.15.169.56:8081';
    $curl = curl_init();

    foreach ($sites_urls as $site){
        curl_setopt($curl, CURLOPT_URL, "https://google.com/search?q=site:$site");
        curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1);
        curl_setopt($curl, CURLOPT_PROXY, $proxy);
        curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
        $response = curl_exec($curl);
        //echo $response;
        curl_close($curl);

        $html = new simple_html_dom();
        $html->load($response);
        $link = $html->find("a[href^=/url?q=]", 0);
        if (strpos($link->href, "webcache.google") === false && strpos($link->href, "support.google") === false && strpos($link->href, "sites.google") === false) {
                array_push($result, $link->innertext);
        }
     
    }

echo json_encode($result);

?>

你使用谷歌的“我如何使用谷歌搜索API”,我刚得到一个自定义谷歌搜索API,我不知道如何使用它