Java h264原始数据流和Android渲染

我们有一个Android应用程序，可以与网络摄像头一起工作。 我们的主要问题是，视频显示时会出现伪影。屏幕的大部分都是绿色的正方形。当你开始在相机前移动你的手时，方块消失了，但视频仍然带有伪影。我们已经检查了缓冲区长度、数据包大小和许多参数…。现在我们不知道出了什么问题

我将描述整个过程： 摄像机使用SIP协议工作。我们根据SIP收集SDP数据并建立连接。我们发现视频在RTP数据包中转换为H264基本配置文件。我们接收UDP数据包。提取RTP。查看RTP的标题。 我们收到了类型为7和8的数据包。我们使用这两个数据包来配置MediaCodec

private void initMedia(ByteBuffer header_sps, ByteBuffer header_pps) {
    try {
        mMediaCodec = MediaCodec.createDecoderByType(MediaFormat.MIMETYPE_VIDEO_AVC);
        //mMediaCodec = MediaCodec.createByCodecName("OMX.google.h264.decoder");
        MediaFormat mediaFormat = MediaFormat.createVideoFormat(MediaFormat.MIMETYPE_VIDEO_AVC, 640, 480);
        mediaFormat.setByteBuffer("csd-0", header_sps);
        mediaFormat.setByteBuffer("csd-1", header_pps);
        mMediaCodec.configure(mediaFormat, videoView.getHolder().getSurface(), null, 0);
        mMediaCodec.start();
        mConfigured = true;
        startMs = System.currentTimeMillis();
        show.start();
    } catch (IOException e) {
        e.printStackTrace();
    }
}

我们也收到了数据包28，这意味着它是部分，我们应该重建它

public ByteBuffer writeRawH264toByteBuffer() throws IOException, NotImplementedException {
ByteBuffer res = null;
switch (nal.getType()){
    case NAL.FU_A:    //FU-A, 5.8.  Fragmentation Units (FUs)/rfc6184
        FUHeader fu = getFUHeader();

        if(fu.isFirst()){
            //if(debug) System.out.println("first");
            res = ByteBuffer.allocate(5+getH264PayloadLength());
            res.put(H264RTP.NON_IDR_PICTURE);
            res.put(getReconstructedNal());
            res.put(rtp.getBuffer(), getH264PayloadStart(), getH264PayloadLength());
        } else {
            //if(debug) System.out.println("end");
            res = ByteBuffer.allocate(getH264PayloadLength());
            res.put(rtp.getBuffer(), getH264PayloadStart(), getH264PayloadLength());
        }
        break;
    case NAL.SPS: //Sequence parameter set
    case NAL.PPS: //Picture parameter set
    case NAL.NAL_UNIT:
        res = ByteBuffer.allocate(4+getH264PayloadLength());
        //System.out.println("sps or pps write");
        res.put(H264RTP.NON_IDR_PICTURE);
        res.put(rtp.getBuffer(), rtp.getPayloadStart(), rtp.getPayloadLength());
        break;
    default:
        throw new NotImplementedException("NAL type " + getNAL().getType() + " not implemented");
}
return res;

}

非IDR图片是字节数组{0x00，0x00，0x00，0x01}

我们使用VideoView在Android设备上翻译视频 这一个写数据包：

if (mConfigured) {
int index = mMediaCodec.dequeueInputBuffer(mTimeoutUsDegueueInput);
if (index >= 0) {
    ByteBuffer buffer = mMediaCodec.getInputBuffer(index);
    //buffer.clear();
    int capacity = wrapper.getByPayload().writeRawH264toByteBuffer(buffer);
    mMediaCodec.queueInputBuffer(index, 0, capacity, wrapper.getSequence(), 0);
}

}

这个更新了VideoView（在单独的线程中）

现在，我不知道为什么视频会因为工件而崩溃，也不知道该调试什么

视频示例：

---

问题在于FUU a重建。 问题出在这个字符串上

int capacity = wrapper.getByPayload().writeRawH264toByteBuffer(buffer);

数据包fuu_A应该被重建成完整的数据包，并且只有在它被放入解码器之后

int capacity = wrapper.getByPayload().writeRawH264toByteBuffer(buffer);