从谷歌1000抓取数据+;php中带有curl的请求
我有一个从谷歌抓取数据的问题,因为太多的请求被谷歌阻止了,我需要做机器人验证,因为我在本地主机上做这是不可能的,我尝试使用代理从谷歌获取数据,但我得到了一个空数组,我可以在没有谷歌阻止的情况下进行1000多个请求的抓取吗?我试图检查我的网站是否在谷歌上建立了索引,但由于请求很少,我被阻止了。我能以某种方式阻止吗从谷歌1000抓取数据+;php中带有curl的请求,php,curl,php-curl,Php,Curl,Php Curl,我有一个从谷歌抓取数据的问题,因为太多的请求被谷歌阻止了,我需要做机器人验证,因为我在本地主机上做这是不可能的,我尝试使用代理从谷歌获取数据,但我得到了一个空数组,我可以在没有谷歌阻止的情况下进行1000多个请求的抓取吗?我试图检查我的网站是否在谷歌上建立了索引,但由于请求很少,我被阻止了。我能以某种方式阻止吗 <?php require "simple_html_dom.php"; $result = array(); $sites_urls
<?php
require "simple_html_dom.php";
$result = array();
$sites_urls = $_POST['sites_urls'];
$proxy = '88.15.169.56:8081';
$curl = curl_init();
foreach ($sites_urls as $site){
curl_setopt($curl, CURLOPT_URL, "https://google.com/search?q=site:$site");
curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1);
curl_setopt($curl, CURLOPT_PROXY, $proxy);
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
$response = curl_exec($curl);
//echo $response;
curl_close($curl);
$html = new simple_html_dom();
$html->load($response);
$link = $html->find("a[href^=/url?q=]", 0);
if (strpos($link->href, "webcache.google") === false && strpos($link->href, "support.google") === false && strpos($link->href, "sites.google") === false) {
array_push($result, $link->innertext);
}
}
echo json_encode($result);
?>
你使用谷歌的“我如何使用谷歌搜索API”,我刚得到一个自定义谷歌搜索API,我不知道如何使用它