Java 基于OpenCV的不稳定人脸识别

我正在开发一个用于人脸识别的android应用程序，它是OpenCV的非官方包装。导入

com.googlecode.javacv.cpp.opencv\u contrib.FaceRecognizer

后， 我应用并测试以下已知方法：

• 使用createLBPHFaceRecognizer（）方法创建LBPH
• 使用createFisherFaceRecognizer（）方法的FisherFace
• 使用CreateEigenFaceRecognitor（）方法的特征脸

在识别检测到的人脸之前，我先纠正旋转的人脸，然后裁剪出合适的区域，从

一般来说，当我把数据库中已经存在的人脸传递给摄像机时，识别就可以了。但这并不总是正确的。有时，它以很高的概率识别未知人脸（在训练样本数据库中找不到）。当我们在DB中有两张或两张以上具有相似特征的脸（胡须、胡子、眼镜……）时，这些脸之间的识别可能是高度错误的

为了使用测试人脸图像预测结果，我应用以下代码：

public String predict(Mat m) {

        int n[] = new int[1];
        double p[] = new double[1];
        IplImage ipl = MatToIplImage(m,WIDTH, HEIGHT);

        faceRecognizer.predict(ipl, n, p);

        if (n[0]!=-1)
         mProb=(int)p[0];
        else
            mProb=-1;
            if (n[0] != -1)
            return labelsFile.get(n[0]);
        else
            return "Unkown";
    }

我无法控制概率p的阈值，因为：

• 小p<50可以预测正确的结果
• 高p>70可预测错误结果
• 中间p可以预测正确或错误

同样，我不明白为什么predict（）函数在使用LBPH的情况下给出的概率有时大于100？？？对于Fisher和Eigen，它给出了非常大的值（>2000）？？ 有人能帮我找到解决这些奇怪问题的办法吗？ 有什么建议可以提高识别的稳健性吗？特别是在两个不同面相似的情况下

以下是使用Facesrecognizer的整个类：

package org.opencv.javacv.facerecognition;

import static  com.googlecode.javacv.cpp.opencv_highgui.*;
import static  com.googlecode.javacv.cpp.opencv_core.*;

import static  com.googlecode.javacv.cpp.opencv_imgproc.*;
import static com.googlecode.javacv.cpp.opencv_contrib.*;

import java.io.File;
import java.io.FileOutputStream;
import java.io.FilenameFilter;
import java.util.ArrayList;

import org.opencv.android.Utils;
import org.opencv.core.Mat;

import com.googlecode.javacv.cpp.opencv_imgproc;
import com.googlecode.javacv.cpp.opencv_contrib.FaceRecognizer;
import com.googlecode.javacv.cpp.opencv_core.IplImage;
import com.googlecode.javacv.cpp.opencv_core.MatVector;

import android.graphics.Bitmap;
import android.os.Environment;
import android.util.Log;
import android.widget.Toast;

public  class PersonRecognizer {

    public final static int MAXIMG = 100;
    FaceRecognizer faceRecognizer;
    String mPath;
    int count=0;
    labels labelsFile;

     static  final int WIDTH= 128;
     static  final int HEIGHT= 128;;
     private int mProb=999;


    PersonRecognizer(String path)
    {
      faceRecognizer =  com.googlecode.javacv.cpp.opencv_contrib.createLBPHFaceRecognizer(2,8,8,8,200);
     // path=Environment.getExternalStorageDirectory()+"/facerecog/faces/";
     mPath=path;
     labelsFile= new labels(mPath);


    }

    void changeRecognizer(int nRec)
    {
        switch(nRec) {
        case 0: faceRecognizer = com.googlecode.javacv.cpp.opencv_contrib.createLBPHFaceRecognizer(1,8,8,8,100);
                break;
        case 1: faceRecognizer = com.googlecode.javacv.cpp.opencv_contrib.createFisherFaceRecognizer();
                break;
        case 2: faceRecognizer = com.googlecode.javacv.cpp.opencv_contrib.createEigenFaceRecognizer();
                break;
        }
        train();

    }

    void add(Mat m, String description) {
        Bitmap bmp= Bitmap.createBitmap(m.width(), m.height(), Bitmap.Config.ARGB_8888);

        Utils.matToBitmap(m,bmp);
        bmp= Bitmap.createScaledBitmap(bmp, WIDTH, HEIGHT, false);

        FileOutputStream f;
        try {
            f = new FileOutputStream(mPath+description+"-"+count+".jpg",true);
            count++;
            bmp.compress(Bitmap.CompressFormat.JPEG, 100, f);
            f.close();

        } catch (Exception e) {
            Log.e("error",e.getCause()+" "+e.getMessage());
            e.printStackTrace();

        }
    }

    public boolean train() {

        File root = new File(mPath);
        Log.i("mPath",mPath);
        FilenameFilter pngFilter = new FilenameFilter() {
            public boolean accept(File dir, String name) {
                return name.toLowerCase().endsWith(".jpg");

        };
        };

        File[] imageFiles = root.listFiles(pngFilter);

        MatVector images = new MatVector(imageFiles.length);

        int[] labels = new int[imageFiles.length];

        int counter = 0;
        int label;

        IplImage img=null;
        IplImage grayImg;

        int i1=mPath.length();


        for (File image : imageFiles) {
            String p = image.getAbsolutePath();
            img = cvLoadImage(p);

            if (img==null)
                Log.e("Error","Error cVLoadImage");
            Log.i("image",p);

            int i2=p.lastIndexOf("-");
            int i3=p.lastIndexOf(".");
            int icount=Integer.parseInt(p.substring(i2+1,i3)); 
            if (count<icount) count++;

            String description=p.substring(i1,i2);

            if (labelsFile.get(description)<0)
                labelsFile.add(description, labelsFile.max()+1);

            label = labelsFile.get(description);

            grayImg = IplImage.create(img.width(), img.height(), IPL_DEPTH_8U, 1);

            cvCvtColor(img, grayImg, CV_BGR2GRAY);

            images.put(counter, grayImg);

            labels[counter] = label;

            counter++;
        }
        if (counter>0)
            if (labelsFile.max()>1)
                faceRecognizer.train(images, labels);
        labelsFile.Save();
    return true;
    }

    public boolean canPredict()
    {
        if (labelsFile.max()>1)
            return true;
        else
            return false;

    }

    public String predict(Mat m) {
        if (!canPredict())
            return "";
        int n[] = new int[1];
        double p[] = new double[1];
        IplImage ipl = MatToIplImage(m,WIDTH, HEIGHT);
//      IplImage ipl = MatToIplImage(m,-1, -1);

        faceRecognizer.predict(ipl, n, p);

        if (n[0]!=-1)
         mProb=(int)p[0];
        else
            mProb=-1;
    //  if ((n[0] != -1)&&(p[0]<95))
        if (n[0] != -1)
            return labelsFile.get(n[0]);
        else
            return "Unkown";
    }




      IplImage MatToIplImage(Mat m,int width,int heigth)
      {


           Bitmap bmp=Bitmap.createBitmap(m.width(), m.height(), Bitmap.Config.ARGB_8888);


           Utils.matToBitmap(m, bmp);
           return BitmapToIplImage(bmp,width, heigth);

      }

    IplImage BitmapToIplImage(Bitmap bmp, int width, int height) {

        if ((width != -1) || (height != -1)) {
            Bitmap bmp2 = Bitmap.createScaledBitmap(bmp, width, height, false);
            bmp = bmp2;
        }

        IplImage image = IplImage.create(bmp.getWidth(), bmp.getHeight(),
                IPL_DEPTH_8U, 4);

        bmp.copyPixelsToBuffer(image.getByteBuffer());

        IplImage grayImg = IplImage.create(image.width(), image.height(),
                IPL_DEPTH_8U, 1);

        cvCvtColor(image, grayImg, opencv_imgproc.CV_BGR2GRAY);

        return grayImg;
    }



    protected void SaveBmp(Bitmap bmp,String path)
      {
            FileOutputStream file;
            try {
                file = new FileOutputStream(path , true);

            bmp.compress(Bitmap.CompressFormat.JPEG,100,file);  
            file.close();
            }
            catch (Exception e) {
                // TODO Auto-generated catch block
                Log.e("",e.getMessage()+e.getCause());
                e.printStackTrace();
            }

      }


    public void load() {
        train();

    }

    public int getProb() {
        // TODO Auto-generated method stub
        return mProb;
    }


}

package org.opencv.javacv.facerecognition；
导入静态com.googlecode.javacv.cpp.opencv_highgui.*；
导入静态com.googlecode.javacv.cpp.opencv_core.*；
导入静态com.googlecode.javacv.cpp.opencv_imgproc.*；
导入静态com.googlecode.javacv.cpp.opencv_contrib.*；
导入java.io.File；
导入java.io.FileOutputStream；
导入java.io.FilenameFilter；
导入java.util.ArrayList；
导入org.opencv.android.Utils；
导入org.opencv.core.Mat；
导入com.googlecode.javacv.cpp.opencv_imgproc；
导入com.googlecode.javacv.cpp.opencv_contrib.FaceRecognizer；
导入com.googlecode.javacv.cpp.opencv_core.IplImage；
导入com.googlecode.javacv.cpp.opencv_core.MatVector；
导入android.graphics.Bitmap；
导入android.os.Environment；
导入android.util.Log；
导入android.widget.Toast；
公共类人员识别器{
公共最终静态整数最大值=100；
人脸识别器；
字符串mPath；
整数计数=0；
标签标签文件；
静态最终整数宽度=128；
静态最终整数高度=128；；
私有int mProb=999；
个人识别器（字符串路径）
{
faceRecognizer=com.googlecode.javacv.cpp.opencv_contrib.createLBPHFaceRecognizer（2,8,8,8200）；
//path=Environment.getExternalStorageDirectory（）+“/facerecog/faces/”；
mPath=路径；
labelsFile=新标签（mPath）；
}
无效变更识别器（int nRec）
{
开关（nRec）{
案例0:faceRecognizer=com.googlecode.javacv.cpp.opencv_contrib.createLBPHFaceRecognizer（1,8,8,8100）；
打破
案例1:faceRecognizer=com.googlecode.javacv.cpp.opencv_contrib.createFisherFaceRecognizer（）；
打破
案例2:faceRecognizer=com.googlecode.javacv.cpp.opencv_contrib.createEigenFaceRecognizer（）；
打破
}
火车（）；
}
无效添加（材料m，字符串描述）{
位图bmp=Bitmap.createBitmap（m.width（），m.height（），Bitmap.Config.ARGB_8888）；
matToBitmap（m，bmp）；
bmp=Bitmap.createScaledBitmap（bmp，宽度，高度，false）；
文件输出流f；
试一试{
f=新的FileOutputStream（mPath+description+“-”+count+“.jpg”，true）；
计数++；
bmp.compress（Bitmap.CompressFormat.JPEG，100，f）；
f、 close（）；
}捕获（例外e）{
Log.e（“错误”，e.getCause（）+“”+e.getMessage（））；
e、 printStackTrace（）；
}
}
公共布尔序列（）{
文件根=新文件（mPath）；
对数i（“兆帕”，兆帕）；
FilenameFilter pngFilter=新FilenameFilter（）{
公共布尔接受（文件目录，字符串名称）{
返回name.toLowerCase（）.endsWith（“.jpg”）；
};
};
File[]imageFiles=root.listFiles（pngFilter）；
MatVector images=新的MatVector（imageFiles.length）；
int[]labels=新的int[imageFiles.length]；
int计数器=0；
int标签；
IplImage img=null；
IplImage-grayImg；
int i1=mPath.length（）；
用于（文件图像：imageFiles）{
字符串p=image.getAbsolutePath（）；
img=cvLoadImage（p）；
如果（img==null）
Log.e（“错误”，“错误cVLoadImage”）；
Log.i（“图像”，p）；
int i2=p.lastIndexOf（“-”）；
int i3=p.lastIndexOf（“.”）；
int icount=Integer.parseInt（p.substring（i2+1，i3））；
if（count1）
人脸识别器。序列（图像、标签）；
labelfile.Save（）；
返回true；
}
公共布尔值canPredict（）
{
如果（labelfile.max（）>1）
返回true；
其他的
返回false；
}
公共字符串预测（Mat m）{
如果（！canPredict（））
返回“”；
int n[]=新int[1]；
双p[]=新的双p[1]；
IplImage ipl=MatToIplImage（米、宽、高）；
//IplImage ipl=MatToIplImage（m，-1，-1）；
人脸识别器预测（ipl，n，p）；
如果（n[0]！=-1）
mProb=（int）p[0]；
其他的
mProb=-1；
//如果（（n[0]！=-1）和&（p[0]我认为您需要实现一些对照明变化更鲁棒的功能。请参阅：

然后，为了管理图像之间的相似性，您可以使用