webrtc对等连接中的音频和视频如何保持同步?

webrtc对等连接中的音频和视频如何保持同步?,webrtc,rtcpeerconnection,Webrtc,Rtcpeerconnection,webrtc对等连接中的音频和视频如何保持同步?我使用的API将音频和视频(我假设为一个对等连接)发布到媒体服务器。音频有时会在200毫秒内失去同步。我将此归因于音频和视频可能是分开的流,这解释了为什么同步可以被取消。RTP/RTCP(WebRTC使用)传统上使用。这允许每个SSRC流在NTP时间戳上同步。浏览器现在确实在使用它们,所以一切都应该正常 您是否正在进行任何协议桥接或任何可能仅为RTP的操作?您使用的媒体服务器是什么?RTP/RTCP(WebRTC使用的)传统上使用。这允许每个SSR

webrtc对等连接中的音频和视频如何保持同步?我使用的API将音频和视频(我假设为一个对等连接)发布到媒体服务器。音频有时会在200毫秒内失去同步。我将此归因于音频和视频可能是分开的流,这解释了为什么同步可以被取消。

RTP/RTCP(WebRTC使用)传统上使用。这允许每个SSRC流在NTP时间戳上同步。浏览器现在确实在使用它们,所以一切都应该正常

您是否正在进行任何协议桥接或任何可能仅为RTP的操作?您使用的媒体服务器是什么?

RTP/RTCP(WebRTC使用的)传统上使用。这允许每个SSRC流在NTP时间戳上同步。浏览器现在确实在使用它们,所以一切都应该正常


您是否正在进行任何协议桥接或任何可能仅为RTP的操作?您使用的是什么媒体服务器?

除了Sean的回答之外:


浏览器中的WebRTC播放器对到达的音频和视频样本之间的时间戳差异的容忍度非常低。您的音频和视频流必须精确对齐(交错),即,与从网络接收的最后一个视频帧的时间戳相比,从网络接收的最后一个音频样本的时间戳应为+-200ms左右。否则WebRTC播放器将停止使用NTP时间戳,并单独播放流。这是因为WebRTC播放器试图将延迟保持在最小值。不确定WebRTC团队的决定是否正确。如果您的带宽不够,或者如果live encoder提供的流没有与时间戳对齐,那么您将无法同步播放。在我看来,WebRTC播放器可以有一个设置-是使用该容差值还是始终同步播放,使用NTP时间戳,以牺牲延迟为代价。

除了Sean的回答:


浏览器中的WebRTC播放器对到达的音频和视频样本之间的时间戳差异的容忍度非常低。您的音频和视频流必须精确对齐(交错),即,与从网络接收的最后一个视频帧的时间戳相比,从网络接收的最后一个音频样本的时间戳应为+-200ms左右。否则WebRTC播放器将停止使用NTP时间戳,并单独播放流。这是因为WebRTC播放器试图将延迟保持在最小值。不确定WebRTC团队的决定是否正确。如果您的带宽不够,或者如果live encoder提供的流没有与时间戳对齐,那么您将无法同步播放。在我看来,WebRTC播放器可以有一个设置—是使用该容差值还是始终同步播放,使用NTP时间戳,以牺牲延迟为代价。

无协议桥接。我正在使用LiveSwitch。我正在发布视频,当我的程序变为黑色并返回到程序时,我会得到一个去同步。这是一个编码器问题,只是想知道为什么音频和视频会不同步。没有协议桥接。我正在使用LiveSwitch。我正在发布视频,当我的程序变为黑色并返回到程序时,我会得到一个去同步。这是一个编码器问题,只是想知道为什么音频和视频会不同步。