Android 使用谷歌视觉API的媒体录制器

我使用的是来自Android vision API的示例。然而，我在录制视频时遇到了困难，因为覆盖层是在上面绘制的

一种方法是将位图存储为图像，并使用FFmpeg或Xuggler对其进行处理，将其合并为视频，但我想知道，如果我们可以在预览时在运行时录制视频，是否有更好的解决方案

更新1: 我用媒体录像机更新了课堂，但录像机仍然不工作。调用triggerRecording（）函数时抛出以下错误：

MediaRecorder:在无效状态下调用start:4

我在清单文件中有外部存储权限

更新2:

我已经在代码中修复了上述问题，并在onSurfaceCreated回调中移动了setupMediaRecorder（）。但是，当我停止录制时，它会抛出运行时异常。根据，如果没有视频/音频数据，将引发运行时异常

那么，我错过了什么

public class CameraSourcePreview extends ViewGroup {
    private static final String TAG = "CameraSourcePreview";

    private static final SparseIntArray ORIENTATIONS = new SparseIntArray();

    static {
        ORIENTATIONS.append(Surface.ROTATION_0, 90);
        ORIENTATIONS.append(Surface.ROTATION_90, 0);
        ORIENTATIONS.append(Surface.ROTATION_180, 270);
        ORIENTATIONS.append(Surface.ROTATION_270, 180);
    }

    private MediaRecorder mMediaRecorder;
    /**
     * Whether the app is recording video now
     */
    private boolean mIsRecordingVideo;

    private Context mContext;
    private SurfaceView mSurfaceView;
    private boolean mStartRequested;
    private boolean mSurfaceAvailable;
    private CameraSource mCameraSource;

    private GraphicOverlay mOverlay;

    public CameraSourcePreview(Context context, AttributeSet attrs) {
        super(context, attrs);
        mContext = context;
        mStartRequested = false;
        mSurfaceAvailable = false;

        mSurfaceView = new SurfaceView(context);

        mSurfaceView.getHolder().addCallback(new SurfaceCallback());

        addView(mSurfaceView);

        mMediaRecorder = new MediaRecorder();
    }

    private void setUpMediaRecorder() throws IOException {
        mMediaRecorder.setPreviewDisplay(mSurfaceView.getHolder().getSurface());
        mMediaRecorder.setAudioSource(MediaRecorder.AudioSource.MIC);
        mMediaRecorder.setVideoSource(MediaRecorder.VideoSource.SURFACE);
        mMediaRecorder.setOutputFormat(MediaRecorder.OutputFormat.MPEG_4);

        mMediaRecorder.setOutputFile(Environment.getExternalStorageDirectory() + File.separator + Environment.DIRECTORY_DCIM + File.separator + System.currentTimeMillis() + ".mp4");
        mMediaRecorder.setVideoEncodingBitRate(10000000);
        mMediaRecorder.setVideoFrameRate(30);
        mMediaRecorder.setVideoSize(480, 640);
        mMediaRecorder.setVideoEncoder(MediaRecorder.VideoEncoder.H264);
        mMediaRecorder.setAudioEncoder(MediaRecorder.AudioEncoder.AAC);
        //int rotation = mContext.getWindowManager().getDefaultDisplay().getRotation();
        //int orientation = ORIENTATIONS.get(rotation);
        mMediaRecorder.setOrientationHint(ORIENTATIONS.get(0));
        mMediaRecorder.prepare();

        mMediaRecorder.setOnErrorListener(new MediaRecorder.OnErrorListener() {
            @Override
            public void onError(MediaRecorder mr, int what, int extra) {
                Timber.d(mr.toString() + " : what[" + what + "]" + " Extras[" + extra + "]");
            }
        });
    }

    public void start(CameraSource cameraSource) throws IOException {
        if (cameraSource == null) {
            stop();
        }

        mCameraSource = cameraSource;

        if (mCameraSource != null) {
            mStartRequested = true;
            startIfReady();
        }
    }

    public void start(CameraSource cameraSource, GraphicOverlay overlay) throws IOException {
        mOverlay = overlay;
        start(cameraSource);
    }

    public void stop() {
        if (mCameraSource != null) {
            mCameraSource.stop();
        }
    }

    public void release() {
        if (mCameraSource != null) {
            mCameraSource.release();
            mCameraSource = null;
        }
    }

    private void startIfReady() throws IOException {
        if (mStartRequested && mSurfaceAvailable) {
            mCameraSource.start(mSurfaceView.getHolder());
            if (mOverlay != null) {
                Size size = mCameraSource.getPreviewSize();
                int min = Math.min(size.getWidth(), size.getHeight());
                int max = Math.max(size.getWidth(), size.getHeight());
                if (isPortraitMode()) {
                    // Swap width and height sizes when in portrait, since it will be rotated by
                    // 90 degrees
                    mOverlay.setCameraInfo(min, max, mCameraSource.getCameraFacing());
                } else {
                    mOverlay.setCameraInfo(max, min, mCameraSource.getCameraFacing());
                }
                mOverlay.clear();
            }

            mStartRequested = false;
        }
    }

    private class SurfaceCallback implements SurfaceHolder.Callback {
        @Override
        public void surfaceCreated(SurfaceHolder surface) {
            mSurfaceAvailable = true;
            surface.setType(SurfaceHolder.SURFACE_TYPE_PUSH_BUFFERS);

            // setup the media recorder
            try {
                setUpMediaRecorder();
            } catch (IOException e) {
                e.printStackTrace();
            }

            try {
                startIfReady();
            } catch (IOException e) {
                Timber.e(TAG, "Could not start camera source.", e);
            }
        }

        @Override
        public void surfaceDestroyed(SurfaceHolder surface) {
            mSurfaceAvailable = false;
        }

        @Override
        public void surfaceChanged(SurfaceHolder holder, int format, int width, int height) {
        }
    }

    @Override
    protected void onLayout(boolean changed, int left, int top, int right, int bottom) {
        int width = 320;
        int height = 240;
        if (mCameraSource != null) {
            Size size = mCameraSource.getPreviewSize();
            if (size != null) {
                width = size.getWidth();
                height = size.getHeight();
            }
        }

        // Swap width and height sizes when in portrait, since it will be rotated 90 degrees
        if (isPortraitMode()) {
            int tmp = width;
            width = height;
            height = tmp;
        }

        final int layoutWidth = right - left;
        final int layoutHeight = bottom - top;

        // Computes height and width for potentially doing fit width.
        int childWidth = layoutWidth;
        int childHeight = (int) (((float) layoutWidth / (float) width) * height);

        // If height is too tall using fit width, does fit height instead.
        if (childHeight > layoutHeight) {
            childHeight = layoutHeight;
            childWidth = (int) (((float) layoutHeight / (float) height) * width);
        }

        for (int i = 0; i < getChildCount(); ++i) {
            getChildAt(i).layout(0, 0, childWidth, childHeight);
        }

        try {
            startIfReady();
        } catch (IOException e) {
            Timber.e(TAG, "Could not start camera source.", e);
        }
    }

    private boolean isPortraitMode() {
        int orientation = mContext.getResources().getConfiguration().orientation;
        if (orientation == Configuration.ORIENTATION_LANDSCAPE) {
            return false;
        }
        if (orientation == Configuration.ORIENTATION_PORTRAIT) {
            return true;
        }

        Timber.d(TAG, "isPortraitMode returning false by default");
        return false;
    }

    private void startRecordingVideo() {
        try {
            // Start recording
            mMediaRecorder.start();
            mIsRecordingVideo = true;
        } catch (IllegalStateException e) {
            e.printStackTrace();
        }
    }

    private void stopRecordingVideo() {
        // UI
        mIsRecordingVideo = false;
        // Stop recording
        mMediaRecorder.stop();
        mMediaRecorder.reset();
    }

    public void triggerRecording() {
        if (mIsRecordingVideo) {
            stopRecordingVideo();
            Timber.d("Recording stopped");
        } else {
            startRecordingVideo();
            Timber.d("Recording starting");
        }
    }
}

公共类CameraSourcePreview扩展了视图组{
私有静态最终字符串TAG=“CameraSourcePreview”；
专用静态最终SparseIntArray方向=新SparseIntArray（）；
静止的{
方向。附加（Surface.ROTATION_0,90）；
方向。附加（Surface.ROTATION_90,0）；
方向。附加（Surface.ROTATION_180，270）；
方向。附加（Surface.ROTATION_270，180）；
}
专用媒体记录器；
/**
*应用程序是否正在录制视频
*/
私用布尔误录视频；
私有上下文；
私人SurfaceView mSurfaceView；
请求私有布尔值；
私有布尔mSurfaceAvailable；
私人摄像源mCameraSource；
专用移动台；
公共CameraSourceReview（上下文、属性集属性）{
超级（上下文，attrs）；
mContext=上下文；
mstart=false；
mSurfaceAvailable=false；
mSurfaceView=新的SurfaceView（上下文）；
mSurfaceView.getHolder（）.addCallback（新的SurfaceCallback（））；
addView（mSurfaceView）；
mMediaRecorder=新的MediaRecorder（）；
}
私有void setUpMediaRecorder（）引发IOException{
mMediaRecorder.setPreviewDisplay（mSurfaceView.getHolder（）.getSurface（））；
mMediaRecorder.setAudioSource（MediaRecorder.AudioSource.MIC）；
mMediaRecorder.setVideoSource（MediaRecorder.VideoSource.SURFACE）；
mMediaRecorder.setOutputFormat（MediaRecorder.OutputFormat.MPEG_4）；
mMediaRecorder.setOutputFile（Environment.getExternalStorageDirectory（）+File.separator+Environment.DIRECTORY\u DCIM+File.separator+System.currentTimeMillis（）+“.mp4”）；
mMediaRecorder.setVideoEncodingBitRate（10000000）；
mMediaRecorder.setVideoFrameRate（30）；
mMediaRecorder.setVideoSize（480640）；
mMediaRecorder.setVideoEncoder（MediaRecorder.VideoEncoder.H264）；
mMediaRecorder.setAudioEncoder（MediaRecorder.AudioEncoder.AAC）；
//int rotation=mContext.getWindowManager（）.getDefaultDisplay（）.getRotation（）；
//int-orientation=ORIENTATIONS.get（旋转）；
mMediaRecorder.setOrientionHint（ORIENTATIONS.get（0））；
mMediaRecorder.prepare（）；
mMediaRecorder.SetOneErrorListener（新的MediaRecorder.OneErrorListener（）{
@凌驾
公共无效onError（MediaRecorder mr、int what、int extra）{
Timber.d（toString（）+“：what[“+what+”]”“+”Extras[“+extra+”]）；
}
});
}
公共无效开始（CameraSource CameraSource）引发IOException{
如果（cameraSource==null）{
停止（）；
}
mCameraSource=cameraSource；
if（mCameraSource！=null）{
mStartRequested=true；
startIfReady（）；
}
}
公共void start（CameraSource CameraSource、GraphicOverlay覆盖）引发IOException{
mOverlay=叠加；
启动（摄像机源）；
}
公共停车场（）{
if（mCameraSource！=null）{
mCameraSource.stop（）；
}
}
公开无效释放（）{
if（mCameraSource！=null）{
mCameraSource.release（）；
mCameraSource=null；
}
}
私有void startIfReady（）引发IOException{
如果（mStartRequested&&mSurfaceAvailable）{
mCameraSource.start（mSurfaceView.getHolder（））；
if（mOverlay！=null）{
Size Size=mCameraSource.getPreviewSize（）；
int min=Math.min（size.getWidth（），size.getHeight（））；
int max=Math.max（size.getWidth（），size.getHeight（））；
if（isPortraitMode（））{
//在纵向时交换宽度和高度大小，因为它将按
//90度
setcamerRainfo（最小、最大、mCameraSource.getcamerafcing（））；
}否则{
mOverlay.setcamerRainfo（max、min、mCameraSource.getcamerafcing（））；
}
mOverlay.clear（）；
}
mstart=false；
}
}
私有类SurfaceCallback实现SurfaceHolder.Callback{
@凌驾
已创建的公共空隙表面（表面层表面）{
mSurfaceAvailable=true；
surface.setType（SurfaceHolder.surface\u TYPE\u PUSH\u缓冲区）；
//设置媒体记录器
试一试{
setUpMediaRecorder（）；
}捕获（IOE异常）{
e、 printStackTrace（）；
}
试一试{
startIfReady（）；
}捕获（IOE异常）{
e（标签“无法启动相机源”，e）；
}
}
@凌驾
公共空心表面置换（表面层表面）{
mSurf