C++ 用openCV匹配图像
首先,我对匹配技术相当陌生,请耐心听我说: 我正在开发一个将训练图像与采集的图像(单个细胞样本)匹配的应用程序 我使用了SIFT检测器和SURF检测器以及基于FLANN的匹配,将一组训练数据与收集的图像进行匹配。但是我得到的结果真的很差。我使用的代码与openCV文档中的代码相同:C++ 用openCV匹配图像,c++,opencv,image-processing,pattern-matching,C++,Opencv,Image Processing,Pattern Matching,首先,我对匹配技术相当陌生,请耐心听我说: 我正在开发一个将训练图像与采集的图像(单个细胞样本)匹配的应用程序 我使用了SIFT检测器和SURF检测器以及基于FLANN的匹配,将一组训练数据与收集的图像进行匹配。但是我得到的结果真的很差。我使用的代码与openCV文档中的代码相同: void foramsMatching(Mat img_object, Mat img_scene){ int minHessian = 400; SiftFeatureDetector d
void foramsMatching(Mat img_object, Mat img_scene){
int minHessian = 400;
SiftFeatureDetector detector(minHessian);
std::vector<KeyPoint> keypoints_object, keypoints_scene;
detector.detect(img_object, keypoints_object);
detector.detect(img_scene, keypoints_scene);
//-- Step 2: Calculate descriptors (feature vectors)
SurfDescriptorExtractor extractor;
Mat descriptors_object, descriptors_scene;
extractor.compute(img_object, keypoints_object, descriptors_object);
extractor.compute(img_scene, keypoints_scene, descriptors_scene);
//-- Step 3: Matching descriptor vectors using FLANN matcher
FlannBasedMatcher matcher;
//BFMatcher matcher;
std::vector< DMatch > matches;
matcher.match(descriptors_object, descriptors_scene, matches);
double max_dist = 0; double min_dist = 100;
//-- Quick calculation of max and min distances between keypoints
for (int i = 0; i < descriptors_object.rows; i++)
{
double dist = matches[i].distance;
if (dist < min_dist) min_dist = dist;
if (dist > max_dist) max_dist = dist;
}
printf("-- Max dist : %f \n", max_dist);
printf("-- Min dist : %f \n", min_dist);
//-- Draw only "good" matches (i.e. whose distance is less than 3*min_dist )
std::vector< DMatch > good_matches;
for (int i = 0; i < descriptors_object.rows; i++)
{
if (matches[i].distance < 3 * min_dist)
{
good_matches.push_back(matches[i]);
}
}
Mat img_matches;
drawMatches(img_object, keypoints_object, img_scene, keypoints_scene,
good_matches, img_matches, Scalar::all(-1), Scalar::all(-1),
vector<char>(), DrawMatchesFlags::NOT_DRAW_SINGLE_POINTS);
//-- Localize the object
std::vector<Point2f> obj;
std::vector<Point2f> scene;
for (int i = 0; i < good_matches.size(); i++)
{
//-- Get the keypoints from the good matches
obj.push_back(keypoints_object[good_matches[i].queryIdx].pt);
scene.push_back(keypoints_scene[good_matches[i].trainIdx].pt);
}
Mat H = findHomography(obj, scene, CV_RANSAC);
//-- Get the corners from the image_1 ( the object to be "detected" )
std::vector<Point2f> obj_corners(4);
obj_corners[0] = cvPoint(0, 0); obj_corners[1] = cvPoint(img_object.cols, 0);
obj_corners[2] = cvPoint(img_object.cols, img_object.rows); obj_corners[3] = cvPoint(0, img_object.rows);
std::vector<Point2f> scene_corners(4);
perspectiveTransform(obj_corners, scene_corners, H);
//-- Draw lines between the corners (the mapped object in the scene - image_2 )
line(img_matches, scene_corners[0] + Point2f(img_object.cols, 0), scene_corners[1] + Point2f(img_object.cols, 0), Scalar(0, 255, 0), 4);
line(img_matches, scene_corners[1] + Point2f(img_object.cols, 0), scene_corners[2] + Point2f(img_object.cols, 0), Scalar(0, 255, 0), 4);
line(img_matches, scene_corners[2] + Point2f(img_object.cols, 0), scene_corners[3] + Point2f(img_object.cols, 0), Scalar(0, 255, 0), 4);
line(img_matches, scene_corners[3] + Point2f(img_object.cols, 0), scene_corners[0] + Point2f(img_object.cols, 0), Scalar(0, 255, 0), 4);
//-- Show detected matches
namedWindow("Good Matches & Object detection", CV_WINDOW_NORMAL);
imshow("Good Matches & Object detection", img_matches);
//imwrite("../../Samples/Matching.jpg", img_matches);
}
void用于匹配(Mat img_对象,Mat img_场景){
int minHessian=400;
SiftFeatureDetector检测器(minHessian);
std::矢量关键点\对象,关键点\场景;
检测器。检测(img_对象、关键点_对象);
检测器。检测(img_场景、关键点_场景);
//--步骤2:计算描述符(特征向量)
表面描述符牵引器;
Mat描述符\u对象,描述符\u场景;
compute(img\u对象、keypoints\u对象、描述符\u对象);
compute(img\u场景、关键点\u场景、描述符\u场景);
//--步骤3:使用FLANN匹配器匹配描述符向量
法兰巴斯德匹配器;
//BFMatcher匹配器;
标准::向量匹配;
匹配(描述符\对象、描述符\场景、匹配);
双最大距离=0;双最小距离=100;
//--快速计算关键点之间的最大和最小距离
对于(int i=0;i最大距离)最大距离=距离;
}
printf(“--Max dist:%f\n”,Max\u dist);
printf(“--最小距离:%f\n”,最小距离);
//--仅绘制“良好”匹配(即距离小于3*min\u dist)
标准::矢量良好匹配;
对于(int i=0;i
以下是结果-
与我使用这些方法看到的其他一些结果相比,它们真的很差。屏幕底部的两个斑点(单元格)应该有两个匹配项
关于我做错了什么或如何改进这些结果,有什么想法吗?
我正在考虑编写我自己的Matcher/Description提取器,因为我的训练图像不是我要查询的细胞的精确副本。
这是个好主意吗?如果是的话,我应该看什么教程
关于,将评论转换为回答:
在运行SIFT/SURF之前,您应该使用可用的知识应用某种预处理,以便找到感兴趣的区域并消除噪声。以下是总体思路:
(*)此步骤中可以使用的内容包括面积大小、形状、颜色分布等。从您提供的示例可以看出,您的对象是圆形的,并且具有一定的最小尺寸。利用你所掌握的任何知识来消除进一步的误报。当然,您需要进行一些调整,以使您的规则集不受太多限制,即保持真正的积极性。您是否可以使用其他知识来消除噪音?在您提供的图片中,背景和文本似乎很容易移除。如果我理解正确,您建议尝试只匹配底部的特定区域,而不是整体图片?我将尝试并报告:)顺便问一下,你将如何去除它们?当然,我认为引入更多关于这些物体的知识将消除误报。为此,您可以提出匹配点和区域的规则(大小/关系/颜色等)。您将如何消除噪声?谢谢!运用你所掌握的任何知识。你的物体看起来有点圆,并且有一定的最小面积。因此,执行分段并检查所有分段是否适用于您的规则集(描述对象的规则集)。然后只与感兴趣的片段匹配。