Php 类似Facebook的点播元内容刮刀
你们曾经看到过FB在你将你在facebook上发布的链接（状态、消息等）粘贴到链接字段并显示各种元数据、图像拇指、页面链接中的各种图像或视频相关链接（如youtube）中的视频拇指后，立即将其刮除 你知道如何复制这个函数吗？我正在考虑一对gearman workers，或者更好的只是javascript，它可以基于正则表达式或类似的东西进行xhr请求和解析内容。。。有什么想法吗？有链接吗？是否有人已经尝试过这样做，并将其包装在一个漂亮的类中？有什么吗？：）Php 类似Facebook的点播元内容刮刀,php,facebook,metadata,scraper,Php,Facebook,Metadata,Scraper,你们曾经看到过FB在你将你在facebook上发布的链接（状态、消息等）粘贴到链接字段并显示各种元数据、图像拇指、页面链接中的各种图像或视频相关链接（如youtube）中的视频拇指后，立即将其刮除 你知道如何复制这个函数吗？我正在考虑一对gearman workers，或者更好的只是javascript，它可以基于正则表达式或类似的东西进行xhr请求和解析内容。。。有什么想法吗？有链接吗？是否有人已经尝试过这样做，并将其包装在一个漂亮的类中？有什么吗？：） 谢谢 Facebook查看页面HTML
谢谢 Facebook查看页面HTML中的各种元信息，并将其粘贴到链接字段中。
标题说明这使用了
中的简单HTML DOM库 我已经看了FB是如何做到的，看起来刮片是在服务器端完成的 class ScrapedInfo { public $url; public $title; public $description; public $imageUrls; } function scrapeUrl($url) { $info = new ScrapedInfo(); $info->url = $url; $html = file_get_html($info->url); //Grab the page title $info->title = trim($html->find('title', 0)->plaintext); //Grab the page description foreach($html->find('meta') as $meta) if ($meta->name == "description") $info->description = trim($meta->content); //Grab the image URLs $imgArr = array(); foreach($html->find('img') as $element) { $rawUrl = $element->src; //Turn any relative Urls into absolutes if (substr($rawUrl,0,4)!="http") $imgArr[] = $url.$rawUrl; else $imgArr[] = $rawUrl; } $info->imageUrls = $imgArr; return $info; } 第二类 { 公共$url； 公有产权； 公共说明； 公共$ImageURL； } 函数url（$url） { $info=新的ScrapedInfo（）； $info->url=$url； $html=file\u get\u html（$info->url）； //抓取页面标题 $info->title=trim（$html->find（'title'，0）->纯文本）； //抓取页面描述 foreach（$html->find（'meta'）作为$meta） 如果（$meta->name==“description”） $info->description=trim（$meta->content）； //抓取图像URL $imgArr=array（）； foreach（$html->find（'img'）作为$element） { $rawUrl=$element->src； //将任何相对URL转换为绝对URL if（substr（$rawUrl，0,4）！=“http”） $imgArr[]=$url.$rawUrl； 其他的 $imgArr[]=$rawUrl； } $info->imageURL=$imgArr； 返回$info； }
当我开发这样一个项目时，它不像看起来那么容易，编码问题，用javascript呈现内容，存在这么多非语义网站是我遇到的一个大问题。尤其是提取视频信息和尝试自动播放行为总是很棘手，有时甚至是不可能的。你可以在中看到一个演示，它是用.net编写的，但它有一个服务接口，因此你可以通过javascript调用它，还有javascript api，可以获得与fb相同的ui/行为。c'mon guys。。。认真地没有人？；）像这样的任何东西都需要一个定制的工具，用于你从中抓取的每个站点。尽量避免使用
RegExDOM