Php 获取数百万外部标题和描述的最快方式是什么？
我有一个Mysql表，包含URL、标题和描述列。有600多万行，每个URL列都有一个来自web的URL。现在我需要为表中的每个url添加标题和元描述。我下载了dmoz数据库，并从那里得到了我能得到的任何标题和描述，完成了部分工作，但我还有几百万个url。我知道这将是一个漫长的过程，我正试图找出最快的方法 我有以下使用CURL获取标题和Meta的代码：来自url的描述，但我不确定如何最好地利用php来尽快完成工作。我想我应该先将URL导出到一个文本文件中，这样我们就可以将查找保存到数据库中，但我不知道如何从那里开始。我有一个专用服务器（E3-1230V2，32 GB）专门用于此项工作，因此电源在那里，问题是如何最好地使用它 感谢您的任何建议 以下是CURL代码：Php 获取数百万外部标题和描述的最快方式是什么？,php,curl,web-scraping,Php,Curl,Web Scraping,我有一个Mysql表，包含URL、标题和描述列。有600多万行，每个URL列都有一个来自web的URL。现在我需要为表中的每个url添加标题和元描述。我下载了dmoz数据库，并从那里得到了我能得到的任何标题和描述，完成了部分工作，但我还有几百万个url。我知道这将是一个漫长的过程，我正试图找出最快的方法 我有以下使用CURL获取标题和Meta的代码：来自url的描述，但我不确定如何最好地利用php来尽快完成工作。我想我应该先将URL导出到一个文本文件中，这样我们就可以将查找保存到数据库中，但我不
function get_info($url)
{
$ch = curl_init();
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
$data = curl_exec($ch);
curl_close($ch);
return $data;
}
$html = get_info($url);
$doc = new DOMDocument();
@$doc->loadHTML($html);
$nodes = $doc->getElementsByTagName('title');
$title = $nodes->item(0)->nodeValue;
$metas = $doc->getElementsByTagName('meta');
for ($i = 0; $i < $metas->length; $i++)
{
$meta = $metas->item($i);
if($meta->getAttribute('name') == 'description')
$description = $meta->getAttribute('content');
insert into table SET Title ='".$title."', Description = '".$description."'
函数获取信息（$url）
{
$ch=curl_init（）；
curl_setopt（$ch，CURLOPT_头，0）；
curl_setopt（$ch，CURLOPT_RETURNTRANSFER，1）；
curl_setopt（$ch，CURLOPT_URL，$URL）；
curl_setopt（$ch，CURLOPT_FOLLOWLOCATION，1）；
$data=curl\u exec（$ch）；
卷曲关闭（$ch）；
返回$data；
}
$html=获取信息（$url）；
$doc=新的DOMDocument（）；
@$doc->loadHTML（$html）；
$nodes=$doc->getElementsByTagName（'title'）；
$title=$nodes->item（0）->nodeValue；
$metas=$doc->getElementsByTagName（'meta'）；
对于（$i=0；$i<$metas->length；$i++）
{
$meta=$metas->item（$i）；
如果（$meta->getAttribute（'name'）=='description'）
$description=$meta->getAttribute（'content'）；
插入到表集合Title='“$Title.”，Description='“$Description.”