C++ WebRTC音频处理模块(APM)和计算回放设备的回波延迟
我对音频处理非常陌生。我创建了一个程序,以一种方式录制和流式传输音频,而不在另一端录制。基本上,它将在一个位置记录的任何内容传输到另一个位置。但是,在许多情况下,该程序也会在与录制源相同的位置输出音频。由于音频延迟(取决于许多因素),这会产生明显的“回声” 因为我不确定是否还有其他问题,所以我尝试使用WebRTC的音频处理模块进行增益控制和回声消除。增益控制似乎工作得很好,但AEC实际上工作得不太好。我假设这可能是因为我没有设置正确的流延迟,或者这不是AEC的真正用途 我正在使用的当前代码读取我从文件中记录的内容,以试图消除回声,至少是第一次出现回声时。如果我将流延迟设置为0。正如我们可以想象的,当前的音频被完全取消了。我尝试了不同的价值观,但没有多大用处 所以我的问题是,我希望这足够具体,我在这个模型中做错了什么C++ WebRTC音频处理模块(APM)和计算回放设备的回波延迟,c++,audio,signal-processing,webrtc,aec,C++,Audio,Signal Processing,Webrtc,Aec,我对音频处理非常陌生。我创建了一个程序,以一种方式录制和流式传输音频,而不在另一端录制。基本上,它将在一个位置记录的任何内容传输到另一个位置。但是,在许多情况下,该程序也会在与录制源相同的位置输出音频。由于音频延迟(取决于许多因素),这会产生明显的“回声” 因为我不确定是否还有其他问题,所以我尝试使用WebRTC的音频处理模块进行增益控制和回声消除。增益控制似乎工作得很好,但AEC实际上工作得不太好。我假设这可能是因为我没有设置正确的流延迟,或者这不是AEC的真正用途 我正在使用的当前代码读取我
void start( char *inFilename, char *outFilename )
{
FILE *infile = fopen( inFilename, "rb" );
FILE *outfile = fopen( outFilename, "wb" );
// Our frame manager
AudioFrame frame;
frame._audioChannel = CHANNELS;
frame._frequencyInHz = SAMPLERATE;
frame._payloadDataLengthInSamples = SAMPLERATE/100; // Math for 20ms frames
// Get the size of our frames
const size_t frameLength = frame._payloadDataLengthInSamples*CHANNELS;
AudioProcessing* apm = AudioProcessing::Create(0);
//
apm->set_sample_rate_hz( SAMPLERATE ); // Super-wideband processing.
//
// // Mono capture and stereo render.
apm->set_num_channels(1, 1);
apm->set_num_reverse_channels(1);
//
apm->high_pass_filter()->Enable(true);
//
//apm->echo_cancellation()->set_suppression_level( EchoCancellation::SuppressionLevel::kHighSuppression );
apm->echo_cancellation()->enable_drift_compensation( false );
apm->echo_cancellation()->Enable( true );
//
apm->noise_suppression()->set_level( NoiseSuppression::Level::kHigh );
apm->noise_suppression()->Enable( true );
//
apm->gain_control()->set_analog_level_limits( 0, 255 );
apm->gain_control()->set_mode( GainControl::Mode::kAdaptiveDigital );
apm->gain_control()->Enable( true );
//
// apm->voice_detection()->Enable(true);
//
// // Start a voice call...
while( fread(frame._payloadData, sizeof( int16_t ), frameLength, infile )==frameLength )
{
//apm->set_stream_delay_ms( 0 );
apm->AnalyzeReverseStream( &frame );
//
// // ... Render frame arrives bound for the audio HAL ...
//
// // ... Capture frame arrives from the audio HAL ...
// // Call required set_stream_ functions.
// apm->gain_control()->set_stream_analog_level(analog_level);
//
apm->set_stream_delay_ms( 300 );
int err = apm->ProcessStream( &frame );
fprintf( stdout, "Output %i\n", err );
//
// // Call required stream_ functions.
// analog_level = apm->gain_control()->stream_analog_level();
// has_voice = apm->stream_has_voice();
fwrite( frame._payloadData, sizeof( int16_t ), frameLength, outfile );
}
//
// // Repeate render and capture processing for the duration of the call...
// // Start a new call...
// apm->Initialize();
//
// // Close the application...
AudioProcessing::Destroy( apm );
apm = NULL;
fclose( infile );
fclose( outfile );
}
使用中的include和库:我也遇到了同样的问题,我试图找到一个API,它告诉我OpenSLES API手册中有多少流延迟,但失败了。
与现在一样,我认为可能需要自己计算流延迟。我也有同样的问题,我试图找到API,告诉我OpenSLES API手册中有多少流延迟,但失败了。
与现在一样,我认为可能需要自己计算流延迟。这里有一个示例,可以用一个工作示例解释很多关于WebRtc音频处理的内容:@MuhammadUsman disclaimer您也是作者?我不是WebRtc的作者。我对WebRTC本机模块(即信号、音频处理)进行了一年多的研究和解决方案,我知道如何最好地解决问题,我可以操作不同的WebRTC模块。这里有一个示例,可以用一个工作示例来解释很多关于WebRTC音频处理的内容:@MuhammadUsman disclaimer你也是作者?我不是WebRTC的作者。我对WebRTC本机模块,即(信号、音频处理)进行了一年多的研究和解决,我知道如何最好地、尽可能地操作不同的WebRTC模块。