C++ WebRTC音频处理模块(APM)和计算回放设备的回波延迟

C++ WebRTC音频处理模块(APM)和计算回放设备的回波延迟,c++,audio,signal-processing,webrtc,aec,C++,Audio,Signal Processing,Webrtc,Aec,我对音频处理非常陌生。我创建了一个程序,以一种方式录制和流式传输音频,而不在另一端录制。基本上,它将在一个位置记录的任何内容传输到另一个位置。但是,在许多情况下,该程序也会在与录制源相同的位置输出音频。由于音频延迟(取决于许多因素),这会产生明显的“回声” 因为我不确定是否还有其他问题,所以我尝试使用WebRTC的音频处理模块进行增益控制和回声消除。增益控制似乎工作得很好,但AEC实际上工作得不太好。我假设这可能是因为我没有设置正确的流延迟,或者这不是AEC的真正用途 我正在使用的当前代码读取我

我对音频处理非常陌生。我创建了一个程序,以一种方式录制和流式传输音频,而不在另一端录制。基本上,它将在一个位置记录的任何内容传输到另一个位置。但是,在许多情况下,该程序也会在与录制源相同的位置输出音频。由于音频延迟(取决于许多因素),这会产生明显的“回声”

因为我不确定是否还有其他问题,所以我尝试使用WebRTC的音频处理模块进行增益控制和回声消除。增益控制似乎工作得很好,但AEC实际上工作得不太好。我假设这可能是因为我没有设置正确的流延迟,或者这不是AEC的真正用途

我正在使用的当前代码读取我从文件中记录的内容,以试图消除回声,至少是第一次出现回声时。如果我将流延迟设置为0。正如我们可以想象的,当前的音频被完全取消了。我尝试了不同的价值观,但没有多大用处

所以我的问题是,我希望这足够具体,我在这个模型中做错了什么

void start( char *inFilename, char *outFilename )
{
    FILE *infile = fopen( inFilename, "rb" );
    FILE *outfile = fopen( outFilename, "wb" );

    // Our frame manager
    AudioFrame frame;
    frame._audioChannel = CHANNELS;
    frame._frequencyInHz = SAMPLERATE;
    frame._payloadDataLengthInSamples = SAMPLERATE/100; // Math for 20ms frames

    // Get the size of our frames
    const size_t frameLength = frame._payloadDataLengthInSamples*CHANNELS;


    AudioProcessing* apm = AudioProcessing::Create(0);
    //
    apm->set_sample_rate_hz( SAMPLERATE ); // Super-wideband processing.
    //
    // // Mono capture and stereo render.
    apm->set_num_channels(1, 1);
    apm->set_num_reverse_channels(1);
    //
    apm->high_pass_filter()->Enable(true);
    //
    //apm->echo_cancellation()->set_suppression_level( EchoCancellation::SuppressionLevel::kHighSuppression );
    apm->echo_cancellation()->enable_drift_compensation( false );
    apm->echo_cancellation()->Enable( true );
    //
    apm->noise_suppression()->set_level( NoiseSuppression::Level::kHigh );
    apm->noise_suppression()->Enable( true );
    //
    apm->gain_control()->set_analog_level_limits( 0, 255 );
    apm->gain_control()->set_mode( GainControl::Mode::kAdaptiveDigital );
    apm->gain_control()->Enable( true );
    //
    // apm->voice_detection()->Enable(true);
    //
    // // Start a voice call...

    while( fread(frame._payloadData, sizeof( int16_t ), frameLength, infile )==frameLength )
    {
        //apm->set_stream_delay_ms( 0 );

        apm->AnalyzeReverseStream( &frame );
        //
        // // ... Render frame arrives bound for the audio HAL ...
        //
        // // ... Capture frame arrives from the audio HAL ...
        // // Call required set_stream_ functions.
        // apm->gain_control()->set_stream_analog_level(analog_level);
        //

        apm->set_stream_delay_ms( 300 );

        int err = apm->ProcessStream( &frame );

        fprintf( stdout, "Output %i\n", err );
        //
        // // Call required stream_ functions.
        // analog_level = apm->gain_control()->stream_analog_level();
        // has_voice = apm->stream_has_voice();


        fwrite( frame._payloadData, sizeof( int16_t ), frameLength, outfile );
    }

    //
    // // Repeate render and capture processing for the duration of the call...
    // // Start a new call...
    // apm->Initialize();
    //
    // // Close the application...
    AudioProcessing::Destroy( apm );
    apm = NULL;

    fclose( infile );
    fclose( outfile );
}

使用中的include和库:

我也遇到了同样的问题,我试图找到一个API,它告诉我OpenSLES API手册中有多少流延迟,但失败了。
与现在一样,我认为可能需要自己计算流延迟。

我也有同样的问题,我试图找到API,告诉我OpenSLES API手册中有多少流延迟,但失败了。
与现在一样,我认为可能需要自己计算流延迟。

这里有一个示例,可以用一个工作示例解释很多关于WebRtc音频处理的内容:@MuhammadUsman disclaimer您也是作者?我不是WebRtc的作者。我对WebRTC本机模块(即信号、音频处理)进行了一年多的研究和解决方案,我知道如何最好地解决问题,我可以操作不同的WebRTC模块。这里有一个示例,可以用一个工作示例来解释很多关于WebRTC音频处理的内容:@MuhammadUsman disclaimer你也是作者?我不是WebRTC的作者。我对WebRTC本机模块,即(信号、音频处理)进行了一年多的研究和解决,我知道如何最好地、尽可能地操作不同的WebRTC模块。