什么是非线性声学回声？，什么是非线性的声学回声？这里我给出了一张图，的是声学回声的路径图，图的左边对应的是发射端，右边对应的是接收端。我们发出的信号首先要经过D/A变换，从数字域变换到模拟域，然后再经过功率放大器，放大之后驱动喇叭，这样就会发出声音。发出来的声音经过空气信道传播之后，到了接收端被麦克风采集到，然后再次经过功率放大器，再通过A/D变换，从模拟域又变回到数字域。那么这里的y[k]就是我们收到的回声信号。，我们接收到的回声y[k]到底是线性回声还是非线性回声呢？或者说我们应该怎么去判断它？我觉得要解决这个问题，就是要认识清楚这里面的每一个环节，看看它们到底是线性系统还是非...

只需要近端采集信号即可，傲娇的回声消除需要同时输入近端信号与远端参考信号。有同学会问已知了远端参考信号，为什么不能用噪声抑制方法处理呢，直接从频域减掉远端信号的频谱不就可以了吗？行为近端信号s(n)，已经混合了近端人声和扬声器播放出来的远端信号，黄色框中已经标出对齐之后的远端信号，其语音表达的内容一致，但是频谱和幅度(明显经过扬声器放大之后声音能量很高)均不一致，意思就是：参考的远端信号与扬声器播放出来的远端信号已经是“貌合神离”了，与降噪的方法相结合也是不错的思路，但是直接套用降噪的方法显然会造成回声残留与双讲部分严重的抑制。接下来，我们来看看WebRTC科学家是怎么做的吧。信号处理流程We...

非线性声学回声产生的原因非线性声学回声产生的原因，我一共列了两条原因。原因之一，声学器件的小型化与廉价化，这里所指的声学器件就是前面B里面提到的功率放大器和喇叭。为什么声学器件的小型化容易产生非线性的失真呢？这个需要从喇叭发声的基本原理说起，我们都知道声波的本质是一种物理振动，而喇叭发声的基本原理就是通过电流来驱动喇叭的振膜发生振动之后，这个振膜会带动周围的空气分子相应发生振动，这样就产生了声音。如果我们要发出一个大的声音的话，那么就需要在单位时间内用更多的电流去驱动更多的空气分子发生振动。假设有大小不同的两个喇叭，他们用同样的功率去驱动，对于大喇叭而言，由于它跟空气接触的面积要大...

再次回授、无限循环而产生反馈现象，而系统在均衡声场后，该现象其实是可以得到明显改观的。但话筒的拾音灵敏度是不是可以无限大呢？不是，在足够电平条件下，它始终会因拾取到具有相干性频率相位关系的输入信号而建立起回授。该图片源于网络上述啸叫现象并不是本文重点，但它为我们讨论接下来的话题提供了一个前提，那就是（同一个声场环境中）话筒和音箱无论怎么摆都无法做到完全的隔离，更别说空间声场条件有限的小中型会议室了。在一套有扩声、有拾音的远程会议系统中，为了防止信号回授，我们通常会有意识地将远端输入信号不再路由给远端输出。然而无法抗拒的是，本地话筒因拾取到远端传送至本地扩声的信号，仍可将声音重新传送...

隔声实验室由两个相连的混响室组成，在两个混响室之间应有一个安装试件的洞口。质量定律对于隔声存在一个普遍的规律，即材料越重（面密度，或单位面积质量越大）隔声效果越好。对于单层密致匀实材料，面密度每增加一倍，隔声量在理论上增加6dB，这种规律即为质量定律。吻合谷声波接触隔声材料后，隔声材料除了垂直方向的受迫振动以外，还有沿着板面方向的受迫弯曲振动。在某个特定频率上，受迫弯曲振动将和板固有的自由弯曲振动发吻合，这时隔声材料就非常顺从地跟随入射声弯曲，造成声能大量地投射到另一侧去，形成隔声量的低谷，这种现象被称作吻合效应。平方反比定律在自由场（freefield）条件下，话筒或扬声器与音源之间的距...

AEC的基本原理是通过分析输入信号和输出信号之间的差异，来估计回声信号，并将其从输入信号中减去，以消除回声。其工作原理如下：麦克风捕捉到的音频信号经过放大和数字化处理，成为输入信号。输入信号经过扬声器播放出来，同时也会通过声音传播到麦克风。麦克风捕捉到的回声信号经过放大和数字化处理，成为输出信号。AEC算法会分析输入信号和输出信号之间的差异，以估计回声信号。估计的回声信号会被减去，以消除回声。消除回声后的信号可以被进一步处理，如编码、解码或其他音频处理。声学回声消除技术，确保通话清晰无干扰。广州交互声学回声打断交互算法AEC（Acoustic Echo Cancellation）声学回声消除是...

声学回声是指声音在空间中发生反射后返回到听者耳中的现象。它是声波在遇到障碍物后发生反射并传播回来的结果。声学回声具有独特的特点和广泛的应用场景。声学回声的特点:反射特性：声学回声是声波在遇到障碍物后发生反射并传播回来的结果。障碍物的形状、大小、材质等因素会影响声波的反射特性。不同的障碍物会产生不同的回声效果，如墙壁、天花板、地板等。延迟时间：声学回声的延迟时间是指声音从发出到反射回来所经过的时间。延迟时间取决于声音源与障碍物之间的距离和声音传播速度。延迟时间的长短会影响声音的清晰度和逼真度。我们把声学回声消除这个技术变成一张实体的插件（设备插卡）。浙江手机声学回声声学回声是一种利用声波在空间中...

什么是非线性声学回声？，什么是非线性的声学回声？这里我给出了一张图，的是声学回声的路径图，图的左边对应的是发射端，右边对应的是接收端。我们发出的信号首先要经过D/A变换，从数字域变换到模拟域，然后再经过功率放大器，放大之后驱动喇叭，这样就会发出声音。发出来的声音经过空气信道传播之后，到了接收端被麦克风采集到，然后再次经过功率放大器，再通过A/D变换，从模拟域又变回到数字域。那么这里的y[k]就是我们收到的回声信号。，我们接收到的回声y[k]到底是线性回声还是非线性回声呢？或者说我们应该怎么去判断它？我觉得要解决这个问题，就是要认识清楚这里面的每一个环节，看看它们到底是线性系统还是非...

首先这里的A和D比较好判断，他们都属于线性时不变系统。比较难判断的是C，因为在一些比较复杂的场景下，声学回声往往会经过多个不同路径的多次反射之后到达接收端，同时会带有很强的混响，甚至在更极端情况下，喇叭与麦克风之间还会产生相对位移变化，导致回声路径也会随时间快速变化。这么多因素叠加在一起，往往会导致回声消除算法的性能急剧退化，甚至完全失效。有同学可能会问，难道这么复杂的情况，不是非线性的吗？我认为C应该是一个线性时变的声学系统，因为我们区分线性跟非线性的主要依据是叠加原理，前面提到的这些复杂场景，它们依然是满足叠加原理的，所以C是线性系统。这里还要再补充一点，细心的朋友会发现B里面有一个功率放...

声学回声消除的基本原理是通过分析音频信号中的回声成分，并将其与原始信号进行比较，然后使用适当的滤波器来减少或消除回声。这种技术通常需要使用麦克风阵列来捕捉原始信号和回声信号，并使用信号处理算法来处理这些信号。声学回声消除的算法通常基于自适应滤波器的原理。自适应滤波器是一种能够根据输入信号的特性自动调整滤波器参数的滤波器。在声学回声消除中，自适应滤波器通过分析原始信号和回声信号之间的差异，自动调整滤波器参数，以减少或消除回声。我们把声学回声消除这个技术变成一张实体的插件（设备插卡）。浙江商显声学回声供应商家声学回声在建筑领域中也具有重要的应用。在建筑设计中，声学回声可以影响建筑物内部的声学环境。...

隔声实验室由两个相连的混响室组成，在两个混响室之间应有一个安装试件的洞口。质量定律对于隔声存在一个普遍的规律，即材料越重（面密度，或单位面积质量越大）隔声效果越好。对于单层密致匀实材料，面密度每增加一倍，隔声量在理论上增加6dB，这种规律即为质量定律。吻合谷声波接触隔声材料后，隔声材料除了垂直方向的受迫振动以外，还有沿着板面方向的受迫弯曲振动。在某个特定频率上，受迫弯曲振动将和板固有的自由弯曲振动发吻合，这时隔声材料就非常顺从地跟随入射声弯曲，造成声能大量地投射到另一侧去，形成隔声量的低谷，这种现象被称作吻合效应。平方反比定律在自由场（freefield）条件下，话筒或扬声器与音源之间的距...

一是恼人的异常音往往是比较轻微的，由于人工听音存在主观辨识性的问题，对于这类轻微的异常音疏于判断，但是终端客户可能不接受；二是在于产线测试环境嘈杂，普通的测试设备易受干扰，人耳对低阶次谐波的失真不敏感，所以在低阶的谐波失真导致的异音可能无法听出，但仪器有可能测出，从而导致误测，生产效率降低。要想准确检测出异常音，高性能的硬件采集和的软件算法缺一不可。指南测控的标准声学测试系统，通过规范的配备自研的高精度的测试传感器、高隔离度的环境环境、高灵敏度的GT-BT216C音频分析仪，辅以良好的减振结构设计，基于异常音包含大量的高次谐波失真成分这一基本原理，结合大量的生产测试经验和实验研究，...

底噪也就是本底噪声，一般指在电声系统中，除去有用的信号外的总噪声。底噪有来自于固有的电子、电磁噪音，也有确是功放电路或电源性能问题导致的。理论上底噪是无法去除的，当然只有当底噪大到影响听感的时候才是问题。很多时候可以提高信噪比把底噪给压低，这确实可以降低听音乐时噪声的影响。但是总之人们还是有带耳机不听音乐的时候，典型的如ANC耳机降噪工作的时候，此时显得尤为重要，近期几大品牌都因为ANC底噪问题造成过批量退货。为了准确的检测产品底噪，我们需要知道目前行业内耳机功放工作类型大概有以下两种：1、产品处于蓝牙播放状态时，功放IC有打开，输入端无任何音源，喇叭输出端有底噪信号输出。2、产品...

我们比较这两个之后就会发现，双讲段主要出现在中间这一段。我们评估双讲性能的主要指标是回声抑制比和近端语音失真度。上面这是经过回声消除之后的语谱，中间的是NLMS算法的结果。我们可以看到它的回声抑制不是很理想，不管在单讲段还是在双讲段，都有比较多的回声残留。而下面这个是采用双耦合算法得到的语谱，可以看到在单讲和双讲里面回声抑制得都比较干净，并且在双讲里，对近端语音的损伤也很小。这个数据对应视频会议场景，因此还需要做一步NLP的处理。上面这个就是基于双耦合算法，做了NLP之后的输出结果。我们可以看到处理完之后，整个语谱很清晰，回声去得很干净，而且语谱没有太大损伤，双讲很通透。我再来简单总结一下，主...

至于双讲恢复能力WebRTCAEC算法提供了{kAecNlpConservative,kAecNlpModerate,kAecNlpAggressive}3个模式，由低到高依次不同的抑制程度，远近端信号处理流程,NLMS自适应算法（上图中橙色部分）的运用旨在尽可能地消除信号d(n)中的线性部分回声，而残留的非线性回声信号会在非线性滤波（上图中紫色部分）部分中被消除，这两个模块是WebrtcAEC的模块。模块前后依赖，现实场景中远端信号x(n)由扬声器播放出来在被麦克风采集的过程中，同时包含了回声y(n)与近端信号x(n)的线性叠加和非线性叠加：需要消除线性回声的目的是为了增大近端信...

我们比较这两个之后就会发现，双讲段主要出现在中间这一段。我们评估双讲性能的主要指标是回声抑制比和近端语音失真度。上面这是经过回声消除之后的语谱，中间的是NLMS算法的结果。我们可以看到它的回声抑制不是很理想，不管在单讲段还是在双讲段，都有比较多的回声残留。而下面这个是采用双耦合算法得到的语谱，可以看到在单讲和双讲里面回声抑制得都比较干净，并且在双讲里，对近端语音的损伤也很小。这个数据对应视频会议场景，因此还需要做一步NLP的处理。上面这个就是基于双耦合算法，做了NLP之后的输出结果。我们可以看到处理完之后，整个语谱很清晰，回声去得很干净，而且语谱没有太大损伤，双讲很通透。我再来简单总结一下，主...

n)中的回声是扬声器播放远端参考x(n)，又被麦克风采集到的形成的，也就意味着在近端数据还未采集进来之前，远端数据缓冲区中已经躺着N帧x(n)了，这个天然的延时可以约等于音频信号从准备渲染到被麦克风采集到的时间，不同设备这个延时是不等的。苹果设备延时较小，基本在120ms左右，Android设备普遍在200ms左右，低端机型上会有300ms左右甚至以上。（2）远近端非因果为什么会导致回声？从（1）中可以认为，正常情况下当前帧近端信号为了找到与之对齐的远端信号，必须在远端缓冲区沿着写指针向前查找。如果此时设备采集丢数据，远端数据会迅速消耗，导致新来的近端帧在向前查找时，已经找不到与之...

3.双耦合滤波器设计当滤波器的结构确定下来之后，我们要去设计滤波器系数了。设计过程我把它总结成了三步，第一步就是构建优化准则，第二步是求解滤波器的权系数——Wl和Wn，一步就是构建耦合机制。第一步就是构建优化准则。我觉得构建优化准则，应该是整个滤波器设计里面重要的一步，因为它决定了滤波器性能的上限。什么样的优化准则是一个好的优化准则呢？我觉得好的优化准则需要跟问题的物理特性有效匹配起来，所以在构建优化准则之前，我们先对非线性声学回声的特性进行分析，希望通过这种分析去挖掘非线性声学回声的一些物理特性。我们的分析是基于上面的函数，我们称它为短时相关度，它所表示的是两个信号，在一个短时的...

直达声总是较早到达人耳，这是因为直达声比反射声的声程短。除了直达声以外，反射的声音形成了混响声，使室内声压级增加。15.比较大声压级厅内空场稳态时的比较大声压级。16.传输频率特性厅内各测点处稳态声压级的平均值相对于扩声系统传声器处声压或扩声设备输入端电压的幅频响应。17.传声增益扩声系统达比较高可用增益时，厅内各测点处稳态声压级平均值与扩声系统传声器处声压级的差值。18.比较高可用增益maximumavailablegain歌舞厅扩声系统在声反馈自激临界状态的增益减去6dB时的增益。扩声系统中使用单指向性传声器、频率均衡器能提高扩声系统的传声增益。19.声场不均匀度有扩声时，厅内...

如果设置nlp_mode=kAecNlpAggressive，α大约会在30左右。如果当前帧为近端帧（即echo_state=false），假设第k个频带hNl(k)=，hNl(k)=hNl(k)^α=，即使滤波后的损失听感上几乎无感知。如图8(a)，hNl经过α调制之后，幅值依然很接近。如果当前帧为远端帧（即echo_state=true），假设第k个频带hNl(k)=，hNl(k)=hNl(k)^α=，滤波后远端能量小到基本听不到了。如图8(b)，hNl经过α调制之后，基本接近0。经过如上对比，为了保证经过调制之后近端期望信号失真小，远端回声可以被抑制到不可听，WebRTCAE...

再次回授、无限循环而产生反馈现象，而系统在均衡声场后，该现象其实是可以得到明显改观的。但话筒的拾音灵敏度是不是可以无限大呢？不是，在足够电平条件下，它始终会因拾取到具有相干性频率相位关系的输入信号而建立起回授。该图片源于网络上述啸叫现象并不是本文重点，但它为我们讨论接下来的话题提供了一个前提，那就是（同一个声场环境中）话筒和音箱无论怎么摆都无法做到完全的隔离，更别说空间声场条件有限的小中型会议室了。在一套有扩声、有拾音的远程会议系统中，为了防止信号回授，我们通常会有意识地将远端输入信号不再路由给远端输出。然而无法抗拒的是，本地话筒因拾取到远端传送至本地扩声的信号，仍可将声音重新传送...

我们还希望它在一个短时的观测时间窗的尺度里面也是比较好的，即局部比较好，所以在数学期望内部，我们又对误差进行了短时积分。这个优化准则跟传统的线性自适应滤波器是有本质区别的，因为传统的线性自适应滤波器基于小均方误差准则，它只是在统计意义上比较好，没有局部比较好约束。首先来求解这里的Wl，就是线性滤波器。主要求解方法是，假设Wn就是非线性滤波器是比较好解，把这个比较好解代入到前面的优化方程里，就会得到上面简化之后的优化目标函数。在这个地方，我们又做了一些先验假设，假设非线性的滤波器的一阶统计量和二阶统计量都等于0，我们就可以把上面的优化问题进一步简化，就得到我们非常熟悉的方程，就是Wi...

直达声总是较早到达人耳，这是因为直达声比反射声的声程短。除了直达声以外，反射的声音形成了混响声，使室内声压级增加。15.比较大声压级厅内空场稳态时的比较大声压级。16.传输频率特性厅内各测点处稳态声压级的平均值相对于扩声系统传声器处声压或扩声设备输入端电压的幅频响应。17.传声增益扩声系统达比较高可用增益时，厅内各测点处稳态声压级平均值与扩声系统传声器处声压级的差值。18.比较高可用增益maximumavailablegain歌舞厅扩声系统在声反馈自激临界状态的增益减去6dB时的增益。扩声系统中使用单指向性传声器、频率均衡器能提高扩声系统的传声增益。19.声场不均匀度有扩声时，厅内...

至于双讲恢复能力WebRTCAEC算法提供了{kAecNlpConservative,kAecNlpModerate,kAecNlpAggressive}3个模式，由低到高依次不同的抑制程度，远近端信号处理流程,NLMS自适应算法（上图中橙色部分）的运用旨在尽可能地消除信号d(n)中的线性部分回声，而残留的非线性回声信号会在非线性滤波（上图中紫色部分）部分中被消除，这两个模块是WebrtcAEC的模块。模块前后依赖，现实场景中远端信号x(n)由扬声器播放出来在被麦克风采集的过程中，同时包含了回声y(n)与近端信号x(n)的线性叠加和非线性叠加：需要消除线性回声的目的是为了增大近端信...

WebRTCAEC算法中开辟了可存储250个block大缓冲区，每个block的长度PART_LEN=64个样本点，能够保存的1s的数据，这也是理论上的大延时能够估计的范围，够用了。我们用610ms延时的数据测试(启用大延时调整需要设置delay_agnostic_enabled=1)：我们还是设置默认延时为240ms，刚开始还是调整了-60个block，随后大延时调整接入之后有调整了-88个block，一共调整(60+88)*4=592ms，之后线性滤波器固定index=4，表示剩余延时剩余16ms，符合预期。③线性滤波器延时估计是固定延时调整和大延时调整之后，滤波器对当前远近端延时的直接反...

再次回授、无限循环而产生反馈现象，而系统在均衡声场后，该现象其实是可以得到明显改观的。但话筒的拾音灵敏度是不是可以无限大呢？不是，在足够电平条件下，它始终会因拾取到具有相干性频率相位关系的输入信号而建立起回授。上述啸叫现象并不是本文重点，但它为我们讨论接下来的话题提供了一个前提，那就是（同一个声场环境中）话筒和音箱无论怎么摆都无法做到完全的隔离，更别说空间声场条件有限的小中型会议室了。在一套有扩声、有拾音的远程会议系统中，为了防止信号回授，我们通常会有意识地将远端输入信号不再路由给远端输出。然而无法抗拒的是，本地话筒因拾取到远端传送至本地扩声的信号，仍可将声音重新传送至远端。这也是...

我们比较这两个之后就会发现，双讲段主要出现在中间这一段。我们评估双讲性能的主要指标是回声抑制比和近端语音失真度。上面这是经过回声消除之后的语谱，中间的是NLMS算法的结果。我们可以看到它的回声抑制不是很理想，不管在单讲段还是在双讲段，都有比较多的回声残留。而下面这个是采用双耦合算法得到的语谱，可以看到在单讲和双讲里面回声抑制得都比较干净，并且在双讲里，对近端语音的损伤也很小。这个数据对应视频会议场景，因此还需要做一步NLP的处理。上面这个就是基于双耦合算法，做了NLP之后的输出结果。我们可以看到处理完之后，整个语谱很清晰，回声去得很干净，而且语谱没有太大损伤，双讲很通透。我再来简单总结一下，主...

反映到听感上就是回声（远端判断成近端）或丢字（近端判断为远端）。（2）计算近端信号d(n)与估计的回声信号e(n)的相干性，如图5(b)，第二行为估计的回声信号e(n)，第三行为二者相干性cohde，很明显近端的部分几乎全部逼近，WebRTC用比较严格的门限（>=）即可将区分绝大部分近端帧，且误判的概率比较小，WebRTC工程师设置如此严格的门限想必是宁可一部分双讲效果，也不愿意接受回声残留。从图5可以体会到，线性滤波之后可以进一步凸显远端参考信号x(n)与估计的回声信号e(n)的差异，从而提高远近端帧状态的判决的可靠性。存在的问题与改进理想情况下，远端信号从扬声器播放出来没有非线...

首先是优化准则。NLMS算法是基于小均方误差准则，而双耦合算法是基于小平均短时累计误差准则，所以他们的优化准则是不一样的。第二个就是理论的比较好解，NLMS算法具有Wiener-Hopf方程解，而双耦合算法的线性滤波器也具有Wiener-Hopf方程解，非线性滤波器具有小二乘解。第三个维度就是运算量，NLMS运算量是O（M），M是滤波器的阶数，而双耦合算法运算量后面会多一个O（N2），因为他有两个滤波器，N是非线性滤波器的阶数，这里的平方是因为小二乘需要对矩阵进行求逆运算，所以它的运算量比线性的NLMS运算量要大很多。第三个就是控制机制，NLMS算法只有一个滤波器，它的控制主要是通...

喇叭发声单元跟麦克接收单元之间，通常是需要做隔振处理的，如果没有隔振处理的话，那么在喇叭发声的过程中，他所产生的振动会通过物理方式传递到麦克接收端。对麦克接收到的声学信号进行调制，而这种振动本质上是一种随机的、非线性的振动，所以它必然会带来非线性失真。手机声学特性调研我们之前针对市面上主要的手机机型做过一次调研，主要调查声学特性。结果我们很惊讶地发现，市面上超过半数的手机机型，声学特性不够理想，对应这里面的“较差”和“极差”这两档。我们平时用手机开外音玩游戏，或者语音通话时，经常会出现漏回声问题和双讲剪切问题，就与手机声学特性不佳有直接联系。当然这组数据只是针对手机这种电子产品，市...