Java 从摄像头API函数takePicture（）获取/转换为YCbCr_420_SP（NV21）图像格式

我们从takePicture（）函数获取图像-这里我们使用jpeg回调（第三个参数），因为我们无法获取原始图像-即使在将回调缓冲区设置为最大大小之后。因此，图像被压缩为JPEG格式-另一方面，我们需要图像与预览帧的格式相同：YCbCr\u 420\u SP（NV21） （此格式由我们使用的第三方库提供，我们没有重新实现的资源）

当我们用setPictureFormat（）初始化相机时，我们尝试在参数中设置图片格式，可惜没有帮助。我猜这个函数只适用于原始回调

我们可以访问JNI端的OpenCV C库，但不知道如何使用IplImage实现转换

因此，目前我们使用以下java实现进行转换，其性能非常差（对于尺寸为3840x2160的图片，大约2秒）：

---

虽然此函数适用于

cameraCaptureSessions.setRepeatingRequest

，但调用

cameraCaptureSessions.capture

时会出现分段错误。两者都通过ImageReader请求YUV_420_888格式。

有两种方法可以改进结果

• 您可以使用jpeg turbo库直接从jpeg中获取YUV，函数为tjDecompressToYUV

• 可以使用renderscript将位图转换为YUV

哪一个更适合你，取决于设备。有些将使用硬件加速的Java Jpeg解码器，有些将在软件中使用libjpeg。在后一种情况下，tjDecompressToYUV将提供显著的改进

---

如果您的设备运行ANDROID-5或更高，考虑切换到<强> Casa2D/强> API，IVIDEReADER可能能够提供YUV或原始图像的期望分辨率和质量。

因此，我们重新实现了我们的类来使用CAMMA2 API，现在我们使用IMAGE ErrADER获得图片。在回调中，我们得到一个图像对象，同时需要一个字节数组。这两者之间是否存在有效的转换，还是我们又回到了问题的开始？camera2以YUV420_888格式提供图像，并用有用的图片进行了解释。如果幸运的话，将有0个填充。如果非常幸运，UV平面将跟随Y平面，而不进行对齐校正。在这种情况下，可以考虑将整个对象保存为NV21字节数组；如果你运气不好，你需要分配一个新的数组并复制像素，跳过垃圾。即使这样，也比JPEG处理和颜色转换快得多。我更新了显示我的方法的问题，我们在处理帧时捕获图片仍然存在问题。嗯，这个错误证明了另一个问题的正确性。但简而言之，新代码忽略了

平面[xxx].getRowStride（）

和

平面[xxx].getPixelStride（）

（再次查看链接的源代码）。例如，U和V平面经常重叠，就像在NV21中一样。那么这是否意味着我必须在U/V缓冲区中以给定的步幅进行迭代？为什么两个函数调用的结果不同，而请求的类型相同？我提出了一个新问题供进一步调查：-谢谢你的支持

byte [] getNV21(int inputWidth, int inputHeight, Bitmap scaled) {
    int [] argb = new int[inputWidth * inputHeight];
    scaled.getPixels(argb, 0, inputWidth, 0, 0, inputWidth, inputHeight);
    byte [] yuv = new byte[inputWidth*inputHeight*3/2];
    encodeYUV420SP(yuv, argb, inputWidth, inputHeight);
    scaled.recycle();

    return yuv;
}

void encodeYUV420SP(byte[] yuv420sp, int[] argb, int width, int height) {
    final int frameSize = width * height;

    int yIndex = 0;
    int uvIndex = frameSize;
    int R, G, B, Y, U, V;
    int index = 0;
    for (int j = 0; j < height; j++) {
        for (int i = 0; i < width; i++) {
            R = (argb[index] & 0xff0000) >> 16;
            G = (argb[index] & 0xff00) >> 8;
            B = (argb[index] & 0xff) >> 0;

            // well known RGB to YUV algorithm
            Y = ( (  66 * R + 129 * G +  25 * B + 128) >> 8) +  16;
            U = ( ( -38 * R -  74 * G + 112 * B + 128) >> 8) + 128;
            V = ( ( 112 * R -  94 * G -  18 * B + 128) >> 8) + 128;

            // NV21 has a plane of Y and interleaved planes of VU each sampled by a factor of 2
            //    meaning for every 4 Y pixels there are 1 V and 1 U.  Note the sampling is every other
            //    pixel AND every other scanline.
            yuv420sp[yIndex++] = (byte) ((Y < 0) ? 0 : ((Y > 255) ? 255 : Y));
            if (j % 2 == 0 && index % 2 == 0) {
                yuv420sp[uvIndex++] = (byte)((V<0) ? 0 : ((V > 255) ? 255 : V));
                yuv420sp[uvIndex++] = (byte)((U<0) ? 0 : ((U > 255) ? 255 : U));
            }

            index ++;
        }
    }
}

private static byte[] YUV_420_888toNV21(Image image) {
    byte[] nv21;
    ByteBuffer yBuffer = image.getPlanes()[0].getBuffer();
    ByteBuffer uBuffer = image.getPlanes()[1].getBuffer();
    ByteBuffer vBuffer = image.getPlanes()[2].getBuffer();

    int ySize = yBuffer.remaining();
    int uSize = uBuffer.remaining();
    int vSize = vBuffer.remaining();

    nv21 = new byte[ySize + uSize + vSize];

    //U and V are swapped
    yBuffer.get(nv21, 0, ySize);
    vBuffer.get(nv21, ySize, vSize);
    uBuffer.get(nv21, ySize + vSize, uSize);

    return nv21;
}