Node.js Web Audio API流音频标签在播放时通过http输出
我正在开发一个电子应用程序,它通过电报机器人Api接口接收歌曲/语音请求,并以自动存储塔/收音机的方式在音频对象中播放它们 我想要实现的是通过http将我的应用程序的音频输出实时流式传输到连接到本地(nodejs)服务器的客户端 因此,基本上我需要在播放时处理所有音频标签,然后混合它们(可能将结果转换为mp3格式?),并将结果传输到客户端。至少现在这是我的主意 不幸的是,我无法捕捉音频对象输出。 我读过RecordJs以及它如何从AudioNode对象录制音频,但我还没有找到混合多音频标记传出流的示例Node.js Web Audio API流音频标签在播放时通过http输出,node.js,html,audio,electron,web-audio-api,Node.js,Html,Audio,Electron,Web Audio Api,我正在开发一个电子应用程序,它通过电报机器人Api接口接收歌曲/语音请求,并以自动存储塔/收音机的方式在音频对象中播放它们 我想要实现的是通过http将我的应用程序的音频输出实时流式传输到连接到本地(nodejs)服务器的客户端 因此,基本上我需要在播放时处理所有音频标签,然后混合它们(可能将结果转换为mp3格式?),并将结果传输到客户端。至少现在这是我的主意 不幸的是,我无法捕捉音频对象输出。 我读过RecordJs以及它如何从AudioNode对象录制音频,但我还没有找到混合多音频标记传出流
你能帮我一下吗?当Web Audio API呈现音频时,音频是原始PCM(未压缩),可在内存缓冲区中使用,该缓冲区根据缓冲区分配的大小清空/重新加载-你可以截取该缓冲区并将其复制到进程中,以便向客户端进行下游发布 将下面的代码另存为html文件,然后在同一目录中使用
python -m SimpleHTTPServer
将浏览器指向
然后选择新的html文件。。。浏览器必须提示确认使用麦克风。。。然后查看javascript控制台(ctrl-shift-i)。。。这里您可以看到FFT和时域音频阵列缓冲区的前三个元素。。。在代码搜索中
数组\u时域\u
这是您的原始PCM音频(将被复制并发送到订阅的客户端(留给读者作为练习;-)。。。如果不需要降低CPU/电池消耗,请注释掉FFT相关代码
注意-当音频通过时,会重复调用onaudioprocess回调,因此请确保上述复制过程非常有效,因此它的完成速度比音频缓冲区刷新之间的周期要快(提示Web Worker)
这里我使用来自麦克风的输入源音频。无论源音频如何,此内部回调呈现事件循环都是相同的
<html><head><meta http-equiv="Content-Type" content="text/html; charset=ISO-8859-1">
<title>capture microphone then show time & frequency domain output</title>
<script type="text/javascript">
var webaudio_tooling_obj = function () {
var audioContext = new AudioContext();
console.log("audio is starting up ...");
var BUFF_SIZE_RENDERER = 16384;
var SIZE_SHOW = 3; // number of array elements to show in console output
var audioInput = null,
microphone_stream = null,
gain_node = null,
script_processor_node = null,
script_processor_analysis_node = null,
analyser_node = null;
if (!navigator.getUserMedia)
navigator.getUserMedia = navigator.getUserMedia || navigator.webkitGetUserMedia ||
navigator.mozGetUserMedia || navigator.msGetUserMedia;
if (navigator.getUserMedia){
navigator.getUserMedia({audio:true},
function(stream) {
start_microphone(stream);
},
function(e) {
alert('Error capturing audio.');
}
);
} else { alert('getUserMedia not supported in this browser.'); }
// ---
function show_some_data(given_typed_array, num_row_to_display, label) {
var size_buffer = given_typed_array.length;
var index = 0;
console.log("__________ " + label);
if (label === "time") {
for (; index < num_row_to_display && index < size_buffer; index += 1) {
var curr_value_time = (given_typed_array[index] / 128) - 1.0;
console.log(curr_value_time);
}
} else if (label === "frequency") {
for (; index < num_row_to_display && index < size_buffer; index += 1) {
console.log(given_typed_array[index]);
}
} else {
throw new Error("ERROR - must pass time or frequency");
}
}
function process_microphone_buffer(event) {
var i, N, inp, microphone_output_buffer;
microphone_output_buffer = event.inputBuffer.getChannelData(0); // just mono - 1 channel for now
}
function start_microphone(stream){
gain_node = audioContext.createGain();
gain_node.connect( audioContext.destination );
microphone_stream = audioContext.createMediaStreamSource(stream);
microphone_stream.connect(gain_node);
script_processor_node = audioContext.createScriptProcessor(BUFF_SIZE_RENDERER, 1, 1);
script_processor_node.onaudioprocess = process_microphone_buffer;
microphone_stream.connect(script_processor_node);
// --- enable volume control for output speakers
document.getElementById('volume').addEventListener('change', function() {
var curr_volume = this.value;
gain_node.gain.value = curr_volume;
console.log("curr_volume ", curr_volume);
});
// --- setup FFT
script_processor_analysis_node = audioContext.createScriptProcessor(2048, 1, 1);
script_processor_analysis_node.connect(gain_node);
analyser_node = audioContext.createAnalyser();
analyser_node.smoothingTimeConstant = 0;
analyser_node.fftSize = 2048;
microphone_stream.connect(analyser_node);
analyser_node.connect(script_processor_analysis_node);
var buffer_length = analyser_node.frequencyBinCount;
var array_freq_domain = new Uint8Array(buffer_length);
var array_time_domain = new Uint8Array(buffer_length);
console.log("buffer_length " + buffer_length);
script_processor_analysis_node.onaudioprocess = function() {
// get the average for the first channel
analyser_node.getByteFrequencyData(array_freq_domain);
analyser_node.getByteTimeDomainData(array_time_domain);
// draw the spectrogram
if (microphone_stream.playbackState == microphone_stream.PLAYING_STATE) {
show_some_data(array_freq_domain, SIZE_SHOW, "frequency");
show_some_data(array_time_domain, SIZE_SHOW, "time"); // store this to record to aggregate buffer/file
}
};
}
}(); // webaudio_tooling_obj = function()
</script>
</head>
<body>
<p>Volume</p>
<input id="volume" type="range" min="0" max="1" step="0.1" value="0.0"/>
</body>
</html>
捕获麦克风,然后显示时域和频域输出
var webaudio_工具_obj=函数(){
var audioContext=新的audioContext();
log(“音频正在启动…”);
var BUFF_SIZE_渲染器=16384;
var SIZE_SHOW=3;//要在控制台输出中显示的数组元素数
var audioInput=null,
麦克风\u流=空,
增益节点=空,
脚本\处理器\节点=null,
脚本\处理器\分析\节点=空,
分析器_节点=空;
如果(!navigator.getUserMedia)
navigator.getUserMedia=navigator.getUserMedia | | navigator.webkitGetUserMedia||
navigator.mozGetUserMedia | | navigator.msGetUserMedia;
if(navigator.getUserMedia){
getUserMedia({audio:true},
功能(流){
启动麦克风(流);
},
职能(e){
警报(“捕获音频时出错”);
}
);
}else{alert('getUserMedia在此浏览器中不受支持。');}
// ---
函数显示某些数据(给定类型的数组、行到行显示、标签){
var size\u buffer=给定的\u类型的\u array.length;
var指数=0;
日志(“\uuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuu;
如果(标签==“时间”){
对于(;索引