React native 将母语语音反应为文本
我正在尝试使用Watson Speech to Text API在react本机应用程序中录制音频,然后将音频转换为文本 我很难弄明白这一点,任何帮助都将不胜感激 我可以录制音频,但我很难弄清楚如何将文件发送到后端或直接发送到前端的Watson API 节点的Watson API云库具有以下功能:React native 将母语语音反应为文本,react-native,speech-recognition,speech-to-text,watson-conversation,watson,React Native,Speech Recognition,Speech To Text,Watson Conversation,Watson,我正在尝试使用Watson Speech to Text API在react本机应用程序中录制音频,然后将音频转换为文本 我很难弄明白这一点,任何帮助都将不胜感激 我可以录制音频,但我很难弄清楚如何将文件发送到后端或直接发送到前端的Watson API 节点的Watson API云库具有以下功能: var SpeechToTextV1 = require('watson-developer-cloud/speech-to-text/v1'); var fs = requi
var SpeechToTextV1 = require('watson-developer-cloud/speech-to-text/v1');
var fs = require('fs');
var speech_to_text = new SpeechToTextV1({
username: '<username>',
password: '<password>'
});
var params = {
// From file
audio: fs.createReadStream('./resources/speech.wav'),
content_type: 'audio/l16; rate=44100'
};
speech_to_text.recognize(params, function(err, res) {
if (err)
console.log(err);
else
console.log(JSON.stringify(res, null, 2));
});
你知道如何在前端通过录制音频的路径完成所有这些吗。有什么解决办法吗?谢谢大家! React Native支持开箱即用的WebSocket: Watson API支持websocket作为语音到文本API的一部分:(参见“发送音频和接收识别结果”一节
websocket.send(blob)
这似乎是一个合理的解决方案。我已经构建了一个使用watson developer cloud/swift sdk的本机模块,并实现了语音到文本的转换 您可以参考我的代码以获得如何实现它的示例,或者只使用模块 react native watson模块使用话筒并为您处理流媒体:
import {SpeechToText} from 'react-native-watson';
SpeechToText.initialize("username", "password")
// will transcribe microphone audio
SpeechToText.startStreaming((error, text) =>
{
console.log(text)
})
SpeechToText.stopStreaming()
谢谢!知道如何在音频文件发生变化时对其进行流式传输吗?当文件得到更新时,套接字是否会不断发送?如果这是实况录音,则不需要文件,只要将音频块从麦克风推到websocket上即可。另一方面,如果您有一个实际的文件得到更新,则可以读取文件中的每个新音频块并通过websocket将其推送到Watson STT。假设将异步提供给您。可以在此处找到示例代码:@DanielBolanos您完成了吗?我正在尝试使用录制声音,然后上载文件。如果您能分享您是如何完成的,那将非常棒。@MatZero您完成了吗有任何实际的javascript代码可以帮助我们吗?我很难做到这一点。我正在使用react-native音频进行录制,但我无法确定watson端点上载。@DanielBolanos我在web上获得了它,但当我尝试使用react-native时,文件上载遇到了问题。我在这里发布了一个主题,其中包含我的代码-Anuj,与y无关我们的问题是,您能否提供有关如何使用react-native录制.wav声音的信息?我在录制.wav声音时遇到一些问题,因此,如果您能够提供如何录制声音的代码片段,这将对我非常有帮助。谢谢!@vtuhtan您可以使用“react-native audio record”录制.wav文件。
import {SpeechToText} from 'react-native-watson';
SpeechToText.initialize("username", "password")
// will transcribe microphone audio
SpeechToText.startStreaming((error, text) =>
{
console.log(text)
})
SpeechToText.stopStreaming()