Webrtc 是否可以在浏览器中访问实时音频流?

Webrtc 是否可以在浏览器中访问实时音频流?,webrtc,twilio,Webrtc,Twilio,我想为聋哑人编写一个网络应用程序,允许他们在打电话时打字。其目标是让聋人在网页上输入电话号码,发起电话呼叫,实时将接收端的语音转录成文本,并实时将响应端的文本转换成语音 我计划使用Twilio进行调用,捕获音频流,使用语音识别API转录语音,并使用Twilio的文本到语音功能转换文本 我知道Twilio没有进行实时转录的能力,而且我似乎找不到通过Twilio.connection对象访问音频流的方法。因此,我正在考虑使用媒体捕获API来捕获该声音。可能吗 是的,这是可能的。但可能存在一些浏览器依

我想为聋哑人编写一个网络应用程序,允许他们在打电话时打字。其目标是让聋人在网页上输入电话号码,发起电话呼叫,实时将接收端的语音转录成文本,并实时将响应端的文本转换成语音

我计划使用Twilio进行调用,捕获音频流,使用语音识别API转录语音,并使用Twilio的文本到语音功能转换文本


我知道Twilio没有进行实时转录的能力,而且我似乎找不到通过Twilio.connection对象访问音频流的方法。因此,我正在考虑使用媒体捕获API来捕获该声音。可能吗

是的,这是可能的。但可能存在一些浏览器依赖性。示例可以在这里找到。代码应该是这样的

   var constraints = {
        video: true,
        audio: true,
    };

    if(navigator.mediaDevices.getUserMedia) {
        navigator.mediaDevices.getUserMedia(constraints).then(getUserMediaSuccess).catch(errorHandler);
    } else {
        alert('Your browser does not support getUserMedia API');
    }

它可以通过Twilio设备api访问


Twilio.Device.activeConnection().mediaStream

这对于StackOverflow的问题来说有点宽泛。使用媒体捕获API,您可以访问用户的媒体中的曲目,使用WebRTC,您可以在连接中接收的传入媒体流中获取这些曲目。@philnash我刚才将问题扩展到了更多细节。我现在正在阅读WebRTC规范。似乎我应该能够通过MediaStreamTrack对象访问音频流?请让我知道我是否应该提供更多的细节。你可能想看看。它不使用Twilio,但它使用WebRTC和语音识别进行(几乎)实时语言翻译。