达到，接近于1。黄色曲线，对应的数据具有比较弱的非线性失真，所以在时间T变大了之后，短期相关度逐渐降低，趋于一个相对平稳的值。而红色曲线是我们选的一条具有强非线性失真的数据，为了对这三组数据进行有效对比，我们还给出了一条蓝色曲线，这条曲线是信号与噪声的短时相关度，它在整个时间T范围内都很小。通过这样一组曲线的对比，会得到两个结论，个结论就是我们构建的短时相关度函数，能够相对客观反映这个声学系统的线性度特征，线性度越好，这个值会越大。第二个结论：对于非线性失真很强的系统，其在短时观测窗内（如T<100ms）依然具有较强的相关度，这从红色的曲线可以看出来。也正是基于这样的特征，我们接下...

这样会带来一个新的问题：按照Widrow的自适应滤波理论，滤波器的长度越长，其收敛速度越慢，同时权噪声越大，进而导致强混响下回声消除不够理想。第二个问题是延时跳变问题。在实时音视频通话领域，延时跳变是一个比较普遍的问题。主要现象是麦克端采集的信号和回声参考信号之间的时延关系会发生跳变，每次跳变之后就需要重新对齐信号，就会漏一些回声出来。第三个问题是啸叫问题。啸叫的检测和啸叫的抑制是公认的在回声领域的经典难题。还有双讲问题。双讲是评估回声消除算法性能的一个重要指标，当然也是很难处理的一个问题，因为双讲很容易导致滤波器系数发散。综合以上这些维度我们可以看到，非线性的声学回声消除是一个很...

也就是说吸声可提高音质,但对降噪能力效果不好。3.吸声系数在一定面积上被吸收的声能与射入声能之比称之为该界面的吸声系数（α）。当入射声能被完全反射时，α=0，表示无吸声作用；当入射声波完全没有被反射时，α=1，表示完全被吸收。一般材料或结构的吸声系数α=0~1，α值越大，表示吸声能越好，它是目前表征吸声性能常用的参数。4.吸声量又称等效吸声面积,等于吸声材料面积与其吸声系数的乘积。单位为平方米。5.吸声材料吸声系数大于(acousticalabsorptionmaterials)。吸声材料是多孔、疏散的材质,常用的吸声材料有玻璃棉、岩棉、聚酯纤维吸音板、羊毛毡、矿渣棉、卡普隆纤维、...

就得到了非线性滤波器的比较好解，它具有小二乘估计形式。第三步构建耦合机制。在介绍耦合机制之前，先说一下我对这种耦合机制的期望特性。我希望在声学系统的线性度非常好的情况下，线性滤波器起到主导作用，而非线性滤波器处于休眠的状态，或者关闭的状态；反过来，当声学系统的非线性很强时，希望非线性滤波器起到主导作用，而线性滤波器处于半休眠状态。实际声学系统往往是非线性与线性两种状态的不断交替、叠加，因此我们希望构建一种机制来对这两种状态进行耦合控制。为了设计耦合机制，就必须对线性度和非线性度特征进行度量。因此，我们定义了两个因子，分别是线性度因子和非线性度因子，对应左边的这两个方程。而我们进行耦...

WebRtcAec_Process接口如上，参数reported_delay_ms为当前设备需要调整延时的目标值。如某Android设备固定延时为400ms左右，400ms已经超出滤波器覆盖的延时范围，至少需要调整300ms延时，才能满足回声消除没有回声的要求。固定延时调整在WebRTCAEC算法开始之初作用一次,为什么target_delay是这么计算？inttarget_delay=startup_size_ms*self->rate_factor*8;startup_size_ms其实就是设置下去的reported_delay_ms，这一步将计算时间毫秒转化为样本点数。160...

随着秒新月异的科技发展，各项技术成果不断地应用在我们日益拓展的各领域需求当中，刷新着我们的生活和工作。地球村的崛起，不断以互联网、物联网等方式揭示着万物相连的关系。无论是飞机、高铁还是电话、网络，都成为托起地球新村时空纵横的重要载体。怎样拉近人与人之间的关系，如何建立起更行之有效的联络方式，提高远程协同工作、信息传达效率成为了一个重要命题。该图片源于网络远程会议的出现在很大程度上为这种多极化办公互动提供了质量的平台保障，在借助互联网便捷的远程通信架构下，通讯数据安全，稳定可靠，很长一段时间广受用户青睐。该图片源于网络然而美中不足的是，这样的（声音）系统仍逃不出的还是自然声学上的问题...

n)中的回声是扬声器播放远端参考x(n)，又被麦克风采集到的形成的，也就意味着在近端数据还未采集进来之前，远端数据缓冲区中已经躺着N帧x(n)了，这个天然的延时可以约等于音频信号从准备渲染到被麦克风采集到的时间，不同设备这个延时是不等的。苹果设备延时较小，基本在120ms左右，Android设备普遍在200ms左右，低端机型上会有300ms左右甚至以上。（2）远近端非因果为什么会导致回声？从（1）中可以认为，正常情况下当前帧近端信号为了找到与之对齐的远端信号，必须在远端缓冲区沿着写指针向前查找。如果此时设备采集丢数据，远端数据会迅速消耗，导致新来的近端帧在向前查找时，已经找不到与之...

n)后，被麦克风采集到的信号，此时经过房间混响以及麦克风采集的信号y(n)已经不能等同于信号x(n)了,我们记线性叠加的部分为y'(n),非线性叠加的部分为y''(n),y(n)=y'(n)+y''(n)；s(n):麦克风采集的近端说话人的语音信号，即我们真正想提取并发送到远端的信号；v(n)：环境噪音，这部分信号会在ANS中被削弱；d(n):近端信号，即麦克风采集之后，3A之前的原始信号，可以表示为：d(n)=s(n)+y(n)+v(n)；s'(n):3A之后的音频信号，即准备经过编码发送到对端的信号。WebRTC音频引擎能够拿到的已知信号只有近端信号d(n)和远端参考信号x(n...

首先是优化准则。NLMS算法是基于小均方误差准则，而双耦合算法是基于小平均短时累计误差准则，所以他们的优化准则是不一样的。第二个就是理论的比较好解，NLMS算法具有Wiener-Hopf方程解，而双耦合算法的线性滤波器也具有Wiener-Hopf方程解，非线性滤波器具有小二乘解。第三个维度就是运算量，NLMS运算量是O（M），M是滤波器的阶数，而双耦合算法运算量后面会多一个O（N2），因为他有两个滤波器，N是非线性滤波器的阶数，这里的平方是因为小二乘需要对矩阵进行求逆运算，所以它的运算量比线性的NLMS运算量要大很多。第三个就是控制机制，NLMS算法只有一个滤波器，它的控制主要是通...

什么是非线性声学回声？，什么是非线性的声学回声？这里我给出了一张图，的是声学回声的路径图，图的左边对应的是发射端，右边对应的是接收端。我们发出的信号首先要经过D/A变换，从数字域变换到模拟域，然后再经过功率放大器，放大之后驱动喇叭，这样就会发出声音。发出来的声音经过空气信道传播之后，到了接收端被麦克风采集到，然后再次经过功率放大器，再通过A/D变换，从模拟域又变回到数字域。那么这里的y[k]就是我们收到的回声信号。，我们接收到的回声y[k]到底是线性回声还是非线性回声呢？或者说我们应该怎么去判断它？我觉得要解决这个问题，就是要认识清楚这里面的每一个环节，看看它们到底是线性系统还是非...

第三个部分是通过实验来检验这个算法的性能；再做一些简单的总结。非线性声学回声1什么是非线性声学回声？，什么是非线性的声学回声？的是声学回声的路径，左边对应的是发射端，右边对应的是接收端。我们发出的信号首先要经过D/A变换，从数字域变换到模拟域，然后再经过功率放大器，放大之后驱动喇叭，这样就会发出声音。发出来的声音经过空气信道传播之后，到了接收端被麦克风采集到，然后再次经过功率放大器，再通过A/D变换，从模拟域又变回到数字域。那么这里的y[k]就是我们收到的回声信号。，我们接收到的回声y[k]到底是线性回声还是非线性回声呢？或者说我们应该怎么去判断它？我觉得要解决这个问题，就是要认识...

WebRTCAEC算法中开辟了可存储250个block大缓冲区，每个block的长度PART_LEN=64个样本点，能够保存的1s的数据，这也是理论上的大延时能够估计的范围，够用了。我们用610ms延时的数据测试(启用大延时调整需要设置delay_agnostic_enabled=1)：我们还是设置默认延时为240ms，刚开始还是调整了-60个block，随后大延时调整接入之后有调整了-88个block，一共调整(60+88)*4=592ms，之后线性滤波器固定index=4，表示剩余延时剩余16ms，符合预期。③线性滤波器延时估计是固定延时调整和大延时调整之后，滤波器对当前远近端延时的直接反...

他的是线性回声传递函数。基于这样的数学假设，我们收到的信号y就可以表示成发射的信号x分别跟这样两个传递函数进行卷积之后的结果。接下来我们对这个模型进行了适当的简化，简化主要是基于数学分解，我们假设非线性的传递函数，可以分解成线性跟非线性这样两个系统函数的组合形式，就会得到中间的方程。接下来对中间的方程进行变量替换，就得到这个表达式，这个表达式它的物理意义很清晰，我们从可以看到，整个回声路径是可以表示成线性回声路径跟非线性回声路径二者之和的形式，这是它的物理意义。2.双耦合自适应滤波器,基于这样一个数学模型，接下来我们就构建了一种新的滤波器结构，称之为双耦合自适应滤波器。这个滤波器跟...

WebRTCAEC算法中开辟了可存储250个block大缓冲区，每个block的长度PART_LEN=64个样本点，能够保存的1s的数据，这也是理论上的大延时能够估计的范围，够用了。我们用610ms延时的数据测试(启用大延时调整需要设置delay_agnostic_enabled=1)：我们还是设置默认延时为240ms，刚开始还是调整了-60个block，随后大延时调整接入之后有调整了-88个block，一共调整(60+88)*4=592ms，之后线性滤波器固定index=4，表示剩余延时剩余16ms，符合预期。③线性滤波器延时估计是固定延时调整和大延时调整之后，滤波器对当前远近端延时的直接反...

运用声学处理来控制回声和混响,当有某个房间或建造一个录音棚时，如出现下述问题，就需要进行声学处理：（1）在墙边拍一下手，然后可听到颤动回声。这是由于声音在硬的平行墙面之间的来回撞击而产生的。（2）录音棚有非常活跃的环境，诸如像一个车库或是混凝土结构的地下室之类，可以听到很多的房间混响。（3）录音棚体积很小。（4）从录音作品中可以听到外界的噪声。（5）低音吉他放大器和音箱的声音有隆隆声。（6）缺乏在数英尺之外作不拾取噪声或不拾取过量房间混响的拾音的自由度。（7）在传声器信号中可听到大量的泄漏声。一些泄漏的例子，如吉他传声器拾取了鼓声，或是由于铙镲传声器拾取了电吉他的声音。如果有上述情...

再结合与更多正常品的对比和设定合理的limits，可以快速准确的检查出耳机在各种状态下的底噪不良。耳机回声回声来自于非预期的泄露，一般分为电学回声和声学回声。前者一般由于麦克风和扬声器线路布局不合理的电路耦合造成，后者则是由于麦克风和扬声器的声学泄露耦合而成。对于回声不良的耳机来说，在通话时，耳机喇叭播放的声音信号通过麦克风又传回电话另一头的手机，从而让讲话者听到自己的声音。对于耳机来讲，主要是声学回声，表现为收发环路的隔离度不好，其根本原因就是耳机在装配时麦克风与喇叭的密封隔离没做好，导致通话时回声出现的不良体验。图中的耳机，在通话时，人耳会略微的感受到回声，也就是佩戴人讲话的声音又传递到了...

再次回授、无限循环而产生反馈现象，而系统在均衡声场后，该现象其实是可以得到明显改观的。但话筒的拾音灵敏度是不是可以无限大呢？不是，在足够电平条件下，它始终会因拾取到具有相干性频率相位关系的输入信号而建立起回授。上述啸叫现象并不是本文重点，但它为我们讨论接下来的话题提供了一个前提，那就是（同一个声场环境中）话筒和音箱无论怎么摆都无法做到完全的隔离，更别说空间声场条件有限的小中型会议室了。在一套有扩声、有拾音的远程会议系统中，为了防止信号回授，我们通常会有意识地将远端输入信号不再路由给远端输出。然而无法抗拒的是，本地话筒因拾取到远端传送至本地扩声的信号，仍可将声音重新传送至远端。这也是...

WebRTCAEC算法中开辟了可存储250个block大缓冲区，每个block的长度PART_LEN=64个样本点，能够保存的1s的数据，这也是理论上的大延时能够估计的范围，够用了。我们用610ms延时的数据测试(启用大延时调整需要设置delay_agnostic_enabled=1)：我们还是设置默认延时为240ms，刚开始还是调整了-60个block，随后大延时调整接入之后有调整了-88个block，一共调整(60+88)*4=592ms，之后线性滤波器固定index=4，表示剩余延时剩余16ms，符合预期。③线性滤波器延时估计是固定延时调整和大延时调整之后，滤波器对当前远近端延时的直接反...

我们比较这两个之后就会发现，双讲段主要出现在中间这一段。我们评估双讲性能的主要指标是回声抑制比和近端语音失真度。上面这是经过回声消除之后的语谱，中间的是NLMS算法的结果。我们可以看到它的回声抑制不是很理想，不管在单讲段还是在双讲段，都有比较多的回声残留。而下面这个是采用双耦合算法得到的语谱，可以看到在单讲和双讲里面回声抑制得都比较干净，并且在双讲里，对近端语音的损伤也很小。这个数据对应视频会议场景，因此还需要做一步NLP的处理。上面这个就是基于双耦合算法，做了NLP之后的输出结果。我们可以看到处理完之后，整个语谱很清晰，回声去得很干净，而且语谱没有太大损伤，双讲很通透。我再来简单总结一下，主...

需要注意的是，如果index在滤波器阶数两端疯狂试探，只能说明当前给到线性部分的远近端延时较小或过大，此时滤波器效果是不稳定的，需要借助固定延时调整或大延时调整使index处于一个比较理想的位置。线性部分算法是可以看作是一个固定步长的NLMS算法，具体细节大家可以结合源码走读，本节重点讲解线型滤波在整个框架中的作用。从个人理解来看，线性部分的目的就是很大程度的消除线性回声，为远近端帧判别的时候，很大程度地保证了信号之间的相干值(0~1之间，值越大相干性越大)的可靠性。我们记消除线性回声之后的信号为估计的回声信号e(n)，e(n)=s(n)+y''(n)+v(n)，其中y''(n)为...

他的是线性回声传递函数。基于这样的数学假设，我们收到的信号y就可以表示成发射的信号x分别跟这样两个传递函数进行卷积之后的结果。接下来我们对这个模型进行了适当的简化，简化主要是基于数学分解，我们假设非线性的传递函数，可以分解成线性跟非线性这样两个系统函数的组合形式，就会得到中间的方程。接下来对中间的方程进行变量替换，就得到这个表达式，这个表达式它的物理意义很清晰，我们从可以看到，整个回声路径是可以表示成线性回声路径跟非线性回声路径二者之和的形式，这是它的物理意义。2.双耦合自适应滤波器,基于这样一个数学模型，接下来我们就构建了一种新的滤波器结构，称之为双耦合自适应滤波器。这个滤波器跟...

运用声学处理来控制回声和混响,当有某个房间或建造一个录音棚时，如出现下述问题，就需要进行声学处理：（1）在墙边拍一下手，然后可听到颤动回声。这是由于声音在硬的平行墙面之间的来回撞击而产生的。（2）录音棚有非常活跃的环境，诸如像一个车库或是混凝土结构的地下室之类，可以听到很多的房间混响。（3）录音棚体积很小。（4）从录音作品中可以听到外界的噪声。（5）低音吉他放大器和音箱的声音有隆隆声。（6）缺乏在数英尺之外作不拾取噪声或不拾取过量房间混响的拾音的自由度。（7）在传声器信号中可听到大量的泄漏声。一些泄漏的例子，如吉他传声器拾取了鼓声，或是由于铙镲传声器拾取了电吉他的声音。如果有上述情...

什么是非线性声学回声？，什么是非线性的声学回声？这里我给出了一张图，的是声学回声的路径图，图的左边对应的是发射端，右边对应的是接收端。我们发出的信号首先要经过D/A变换，从数字域变换到模拟域，然后再经过功率放大器，放大之后驱动喇叭，这样就会发出声音。发出来的声音经过空气信道传播之后，到了接收端被麦克风采集到，然后再次经过功率放大器，再通过A/D变换，从模拟域又变回到数字域。那么这里的y[k]就是我们收到的回声信号。，我们接收到的回声y[k]到底是线性回声还是非线性回声呢？或者说我们应该怎么去判断它？我觉得要解决这个问题，就是要认识清楚这里面的每一个环节，看看它们到底是线性系统还是非...

噪声抑制和声源分离同属于语音增强的范畴，如果把噪声理解为广义的噪声三者之间的关系,噪声抑制需要准确估计出噪声信号，其中平稳噪声可以通过语音检测判别有话端与无话端的状态来动态更新噪声信号，进而参与降噪，常用的手段是基于谱减法(即在原始信号的基础上减去估计出来的噪声所占的成分)的一系列改进方法，其效果依赖于对噪声信号估计的准确性。对于非平稳噪声，目前用的较多的就是基于递归神经网络的深度学习方法，很多Windows设备上都内置了基于多麦克风阵列的降噪的算法。效果上，为了保证音质，噪声抑制允许噪声残留，只要比原始信号信噪比高，噪且听觉上失真无感知即可。单声道的声源分离技术起源于传说中的鸡尾...

为什么又这么冷呢？我能想到的一个答案是它太难了，它非常有挑战性。下面就来看一下它的技术难点。5非线性声学回声消除的技术难点,我从6个不同的维度比较了线性的和非线性这两种回声消除问题。个维度，系统传递函数。在线性系统里面，我们认为系统传递函数是一个缓慢时变的系统，我们可以通过自适应滤波的方式去逼近这个传递函数，来有效抑制回声。而在非线性系统里面，系统传递函数通常是快变、突变的，我们如果用线性的方法去逼近的话，会出现滤波器的更新速度，跟不上系统传递函数变化的速度，就会导致声学回声消除不理想。第二个维度是优化模型，在线性里面我们是有一套非常完备的线性优化模型，从目标函数的构建到系统优化问...

可以准确快速的进行底噪测试。下图TWS耳机中的左耳，在喇叭播放空声源时，喇叭端有略微的电流声底噪，右耳无此不良现场，通过指南测控的标准声学测试系统进行左右耳TWS声学测试，可以在底噪测试步骤中检测到，有底噪异常的左耳的一些频段能量值偏高，无底噪问题的右耳的表现就“平顺”很多。再结合与更多正常品的对比和设定合理的limits，可以快速准确的检查出耳机在各种状态下的底噪不良。耳机回声回声来自于非预期的泄露，一般分为电学回声和声学回声。前者一般由于麦克风和扬声器线路布局不合理的电路耦合造成，后者则是由于麦克风和扬声器的声学泄露耦合而成。对于回声不良的耳机来说，在通话时，耳机喇叭播放的声音信号通过麦克...

非线性声学回声消除的技术难点我从6个不同的维度比较了线性的和非线性这两种回声消除问题。首先个维度，系统传递函数。在线性系统里面，我们认为系统传递函数是一个缓慢时变的系统，我们可以通过自适应滤波的方式去逼近这个传递函数，来有效抑制回声。而在非线性系统里面，系统传递函数通常是快变、突变的，我们如果用线性的方法去逼近的话，会出现滤波器的更新速度，跟不上系统传递函数变化的速度，就会导致声学回声消除不理想。第二个维度是优化模型，在线性里面我们是有一套非常完备的线性优化模型，从目标函数的构建到系统优化问题的求解，整个脉络是很清晰的。而在非线性的系统里面，目前是缺少一种有效的模型来对它进行支撑的...

男人说话的声频为～150Hz，女人说话声频为～230Hz,发动机声频为～250Hz，绝大部分机器的噪音也是以低频为主的中低频噪音）,9.声音频率(声频)声波在单位时间内的振动次数称为频率(frequency)，单位赫(Hz)。人耳能够听到的声音的整个范围是20~20000Hz，一般把声音频率分为低频（500Hz以下）、中频（500-1000Hz）和高频(1000Hz以上)三个频带。听觉好的成年人能听到的声音频率常在30~16000Hz之间，老年人则常在50~10000Hz之间。10.混响声源停止发音后，产生的声音延续现象。11.混响时间当声场达到稳定的状态后，突然关掉声源使其停止发...

3.双耦合滤波器设计当滤波器的结构确定下来之后，我们要去设计滤波器系数了。设计过程我把它总结成了三步，第一步就是构建优化准则，第二步是求解滤波器的权系数——Wl和Wn，一步就是构建耦合机制。第一步就是构建优化准则。我觉得构建优化准则，应该是整个滤波器设计里面重要的一步，因为它决定了滤波器性能的上限。什么样的优化准则是一个好的优化准则呢？我觉得好的优化准则需要跟问题的物理特性有效匹配起来，所以在构建优化准则之前，我们先对非线性声学回声的特性进行分析，希望通过这种分析去挖掘非线性声学回声的一些物理特性。我们的分析是基于上面的函数，我们称它为短时相关度，它所表示的是两个信号，在一个短时的...

男人说话的声频为～150Hz，女人说话声频为～230Hz,发动机声频为～250Hz，绝大部分机器的噪音也是以低频为主的中低频噪音）,9.声音频率(声频)声波在单位时间内的振动次数称为频率(frequency)，单位赫(Hz)。人耳能够听到的声音的整个范围是20~20000Hz，一般把声音频率分为低频（500Hz以下）、中频（500-1000Hz）和高频(1000Hz以上)三个频带。听觉好的成年人能听到的声音频率常在30~16000Hz之间，老年人则常在50~10000Hz之间。10.混响声源停止发音后，产生的声音延续现象。11.混响时间当声场达到稳定的状态后，突然关掉声源使其停止发...