React native 将母语语音反应为文本

React native 将母语语音反应为文本,react-native,speech-recognition,speech-to-text,watson-conversation,watson,React Native,Speech Recognition,Speech To Text,Watson Conversation,Watson,我正在尝试使用Watson Speech to Text API在react本机应用程序中录制音频,然后将音频转换为文本 我很难弄明白这一点,任何帮助都将不胜感激 我可以录制音频,但我很难弄清楚如何将文件发送到后端或直接发送到前端的Watson API 节点的Watson API云库具有以下功能: var SpeechToTextV1 = require('watson-developer-cloud/speech-to-text/v1'); var fs = requi

我正在尝试使用Watson Speech to Text API在react本机应用程序中录制音频,然后将音频转换为文本

我很难弄明白这一点,任何帮助都将不胜感激

我可以录制音频,但我很难弄清楚如何将文件发送到后端或直接发送到前端的Watson API

节点的Watson API云库具有以下功能:

      var SpeechToTextV1 = require('watson-developer-cloud/speech-to-text/v1');
      var fs = require('fs');

      var speech_to_text = new SpeechToTextV1({
      username: '<username>',
      password: '<password>'
      });

        var params = {
        // From file
        audio: fs.createReadStream('./resources/speech.wav'),
        content_type: 'audio/l16; rate=44100'
         };

       speech_to_text.recognize(params, function(err, res) {
       if (err)
       console.log(err);
       else
      console.log(JSON.stringify(res, null, 2));
       });

你知道如何在前端通过录制音频的路径完成所有这些吗。有什么解决办法吗?谢谢大家!

React Native支持开箱即用的WebSocket:

Watson API支持websocket作为语音到文本API的一部分:(参见“发送音频和接收识别结果”一节
websocket.send(blob)


这似乎是一个合理的解决方案。

我已经构建了一个使用watson developer cloud/swift sdk的本机模块,并实现了语音到文本的转换

您可以参考我的代码以获得如何实现它的示例,或者只使用模块

react native watson模块使用话筒并为您处理流媒体:

import {SpeechToText} from 'react-native-watson';

SpeechToText.initialize("username", "password")

// will transcribe microphone audio
SpeechToText.startStreaming((error, text) =>
        {
            console.log(text)
        })

SpeechToText.stopStreaming()

谢谢!知道如何在音频文件发生变化时对其进行流式传输吗?当文件得到更新时,套接字是否会不断发送?如果这是实况录音,则不需要文件,只要将音频块从麦克风推到websocket上即可。另一方面,如果您有一个实际的文件得到更新,则可以读取文件中的每个新音频块并通过websocket将其推送到Watson STT。假设将异步提供给您。可以在此处找到示例代码:@DanielBolanos您完成了吗?我正在尝试使用录制声音,然后上载文件。如果您能分享您是如何完成的,那将非常棒。@MatZero您完成了吗有任何实际的javascript代码可以帮助我们吗?我很难做到这一点。我正在使用react-native音频进行录制,但我无法确定watson端点上载。@DanielBolanos我在web上获得了它,但当我尝试使用react-native时,文件上载遇到了问题。我在这里发布了一个主题,其中包含我的代码-Anuj,与y无关我们的问题是,您能否提供有关如何使用react-native录制.wav声音的信息?我在录制.wav声音时遇到一些问题,因此,如果您能够提供如何录制声音的代码片段,这将对我非常有帮助。谢谢!@vtuhtan您可以使用“react-native audio record”录制.wav文件。
import {SpeechToText} from 'react-native-watson';

SpeechToText.initialize("username", "password")

// will transcribe microphone audio
SpeechToText.startStreaming((error, text) =>
        {
            console.log(text)
        })

SpeechToText.stopStreaming()