达到，接近于1。黄色曲线，对应的数据具有比较弱的非线性失真，所以在时间T变大了之后，短期相关度逐渐降低，趋于一个相对平稳的值。而红色曲线是我们选的一条具有强非线性失真的数据，为了对这三组数据进行有效对比，我们还给出了一条蓝色曲线，这条曲线是信号与噪声的短时相关度，它在整个时间T范围内都很小。通过这样一组曲线的对比，会得到两个结论，个结论就是我们构建的短时相关度函数，能够相对客观反映这个声学系统的线性度特征，线性度越好，这个值会越大。第二个结论：对于非线性失真很强的系统，其在短时观测窗内（如T<100ms）依然具有较强的相关度，这从红色的曲线可以看出来。也正是基于这样的特征，我们接下...

再结合与更多正常品的对比和设定合理的limits，可以快速准确的检查出耳机在各种状态下的底噪不良。耳机回声回声来自于非预期的泄露，一般分为电学回声和声学回声。前者一般由于麦克风和扬声器线路布局不合理的电路耦合造成，后者则是由于麦克风和扬声器的声学泄露耦合而成。对于回声不良的耳机来说，在通话时，耳机喇叭播放的声音信号通过麦克风又传回电话另一头的手机，从而让讲话者听到自己的声音。对于耳机来讲，主要是声学回声，表现为收发环路的隔离度不好，其根本原因就是耳机在装配时麦克风与喇叭的密封隔离没做好，导致通话时回声出现的不良体验。图中的耳机，在通话时，人耳会略微的感受到回声，也就是佩戴人讲话的声音又传递到了...

非线性声学回声消除的技术难点我从6个不同的维度比较了线性的和非线性这两种回声消除问题。首先个维度，系统传递函数。在线性系统里面，我们认为系统传递函数是一个缓慢时变的系统，我们可以通过自适应滤波的方式去逼近这个传递函数，来有效抑制回声。而在非线性系统里面，系统传递函数通常是快变、突变的，我们如果用线性的方法去逼近的话，会出现滤波器的更新速度，跟不上系统传递函数变化的速度，就会导致声学回声消除不理想。第二个维度是优化模型，在线性里面我们是有一套非常完备的线性优化模型，从目标函数的构建到系统优化问题的求解，整个脉络是很清晰的。而在非线性的系统里面，目前是缺少一种有效的模型来对它进行支撑的...

为什么声学器件的小型化容易产生非线性的失真呢？这个需要从喇叭发声的基本原理说起，我们都知道声波的本质是一种物理振动，而喇叭发声的基本原理就是通过电流来驱动喇叭的振膜发生振动之后，这个振膜会带动周围的空气分子相应发生振动，这样就产生了声音。如果我们要发出一个大的声音的话，那么就需要在单位时间内用更多的电流去驱动更多的空气分子发生振动。假设有大小不同的两个喇叭，他们用同样的功率去驱动，对于大喇叭而言，由于它跟空气接触的面积要大一些，所以他在单位时间内能够带动更多的空气分子振动，所以它发出来的声音也会大一些。而小喇叭如果想发出跟大喇叭一样大的声音，就需要加大驱动功率，这样会带来一个问题：...

噪声抑制和声源分离同属于语音增强的范畴，如果把噪声理解为广义的噪声三者之间的关系,噪声抑制需要准确估计出噪声信号，其中平稳噪声可以通过语音检测判别有话端与无话端的状态来动态更新噪声信号，进而参与降噪，常用的手段是基于谱减法(即在原始信号的基础上减去估计出来的噪声所占的成分)的一系列改进方法，其效果依赖于对噪声信号估计的准确性。对于非平稳噪声，目前用的较多的就是基于递归神经网络的深度学习方法，很多Windows设备上都内置了基于多麦克风阵列的降噪的算法。效果上，为了保证音质，噪声抑制允许噪声残留，只要比原始信号信噪比高，噪且听觉上失真无感知即可。单声道的声源分离技术起源于传说中的鸡尾...

黑色这条线是标准NLMS算法的回声抑制比。我们可以看到，NLMS算法在收敛之后，回声抑制比只能到10个分贝左右，相对比较低。而双耦合算法在收敛之后，可以达到25个分贝以上，也就是说它比NLMS算法多15个分贝，这个优势是很明显的。接下来我们再看第二个示例，针对弱非线性失真的情况，左边是语谱，右边是回声抑制比。我们评估单讲性能的主要指标是回声抑制比和收敛速度。首先看一下NLMS算法，它在收敛之后，大概可以抑制22~25个分贝。这个算法的收敛速度很慢，大概经过100多帧之后才会进入到相对收敛的状态。再来看一下双耦合算法，在稳定之后，可以抑制35~40个分贝，比NLMS算法大概提升15~...

以此来应对市面上绝大多数的移动设备。另外，线性滤波器虽然不具备调整延时的能力，但可以通过估计的index衡量当前信号的延时状态，范围为[0,kNormalNumPartitions]，如果index处于作用域两端，说明真实延时过小或过大，会影响线性回声估计的效果，严重的会带来回声，此时需要结合固定延时与大延时检测来修正。非线性滤波非线性部分一共做了两件事，就是想尽千方百计干掉远端信号。(1)根据线性部分提供的估计的回声信号，计算信号间的相干性，判别远近端帧状态。(2)调整抑制系数，计算非线性滤波参数。非线性滤波抑制系数为hNl，大致表征着估计的回声信号e(n)中，期望的近端成分与残...

运用声学处理来控制回声和混响,当有某个房间或建造一个录音棚时，如出现下述问题，就需要进行声学处理：（1）在墙边拍一下手，然后可听到颤动回声。这是由于声音在硬的平行墙面之间的来回撞击而产生的。（2）录音棚有非常活跃的环境，诸如像一个车库或是混凝土结构的地下室之类，可以听到很多的房间混响。（3）录音棚体积很小。（4）从录音作品中可以听到外界的噪声。（5）低音吉他放大器和音箱的声音有隆隆声。（6）缺乏在数英尺之外作不拾取噪声或不拾取过量房间混响的拾音的自由度。（7）在传声器信号中可听到大量的泄漏声。一些泄漏的例子，如吉他传声器拾取了鼓声，或是由于铙镲传声器拾取了电吉他的声音。如果有上述情...

如果设置nlp_mode=kAecNlpAggressive，α大约会在30左右。如果当前帧为近端帧（即echo_state=false），假设第k个频带hNl(k)=，hNl(k)=hNl(k)^α=，即使滤波后的损失听感上几乎无感知。如图8(a)，hNl经过α调制之后，幅值依然很接近。如果当前帧为远端帧（即echo_state=true），假设第k个频带hNl(k)=，hNl(k)=hNl(k)^α=，滤波后远端能量小到基本听不到了。如图8(b)，hNl经过α调制之后，基本接近0。经过如上对比，为了保证经过调制之后近端期望信号失真小，远端回声可以被抑制到不可听，WebRTCAE...

噪声抑制和声源分离同属于语音增强的范畴，如果把噪声理解为广义的噪声三者之间的关系,噪声抑制需要准确估计出噪声信号，其中平稳噪声可以通过语音检测判别有话端与无话端的状态来动态更新噪声信号，进而参与降噪，常用的手段是基于谱减法(即在原始信号的基础上减去估计出来的噪声所占的成分)的一系列改进方法，其效果依赖于对噪声信号估计的准确性。对于非平稳噪声，目前用的较多的就是基于递归神经网络的深度学习方法，很多Windows设备上都内置了基于多麦克风阵列的降噪的算法。效果上，为了保证音质，噪声抑制允许噪声残留，只要比原始信号信噪比高，噪且听觉上失真无感知即可。单声道的声源分离技术起源于传说中的鸡尾...

再次回授、无限循环而产生反馈现象，而系统在均衡声场后，该现象其实是可以得到明显改观的。但话筒的拾音灵敏度是不是可以无限大呢？不是，在足够电平条件下，它始终会因拾取到具有相干性频率相位关系的输入信号而建立起回授。上述啸叫现象并不是本文重点，但它为我们讨论接下来的话题提供了一个前提，那就是（同一个声场环境中）话筒和音箱无论怎么摆都无法做到完全的隔离，更别说空间声场条件有限的小中型会议室了。在一套有扩声、有拾音的远程会议系统中，为了防止信号回授，我们通常会有意识地将远端输入信号不再路由给远端输出。然而无法抗拒的是，本地话筒因拾取到远端传送至本地扩声的信号，仍可将声音重新传送至远端。这也是...

再结合与更多正常品的对比和设定合理的limits，可以快速准确的检查出耳机在各种状态下的底噪不良。耳机回声回声来自于非预期的泄露，一般分为电学回声和声学回声。前者一般由于麦克风和扬声器线路布局不合理的电路耦合造成，后者则是由于麦克风和扬声器的声学泄露耦合而成。对于回声不良的耳机来说，在通话时，耳机喇叭播放的声音信号通过麦克风又传回电话另一头的手机，从而让讲话者听到自己的声音。对于耳机来讲，主要是声学回声，表现为收发环路的隔离度不好，其根本原因就是耳机在装配时麦克风与喇叭的密封隔离没做好，导致通话时回声出现的不良体验。图中的耳机，在通话时，人耳会略微的感受到回声，也就是佩戴人讲话的声音又传递到了...

他的是线性回声传递函数。基于这样的数学假设，我们收到的信号y就可以表示成发射的信号x分别跟这样两个传递函数进行卷积之后的结果。接下来我们对这个模型进行了适当的简化，简化主要是基于数学分解，我们假设非线性的传递函数，可以分解成线性跟非线性这样两个系统函数的组合形式，就会得到中间的方程。接下来对中间的方程进行变量替换，就得到这个表达式，这个表达式它的物理意义很清晰，我们从可以看到，整个回声路径是可以表示成线性回声路径跟非线性回声路径二者之和的形式，这是它的物理意义。2.双耦合自适应滤波器,基于这样一个数学模型，接下来我们就构建了一种新的滤波器结构，称之为双耦合自适应滤波器。这个滤波器跟...

就得到了非线性滤波器的比较好解，它具有小二乘估计形式。第三步构建耦合机制。在介绍耦合机制之前，先说一下我对这种耦合机制的期望特性。我希望在声学系统的线性度非常好的情况下，线性滤波器起到主导作用，而非线性滤波器处于休眠的状态，或者关闭的状态；反过来，当声学系统的非线性很强时，希望非线性滤波器起到主导作用，而线性滤波器处于半休眠状态。实际声学系统往往是非线性与线性两种状态的不断交替、叠加，因此我们希望构建一种机制来对这两种状态进行耦合控制。为了设计耦合机制，就必须对线性度和非线性度特征进行度量。因此，我们定义了两个因子，分别是线性度因子和非线性度因子，对应左边的这两个方程。而我们进行耦...

至于双讲恢复能力WebRTCAEC算法提供了{kAecNlpConservative,kAecNlpModerate,kAecNlpAggressive}3个模式，由低到高依次不同的抑制程度，远近端信号处理流程,NLMS自适应算法（上图中橙色部分）的运用旨在尽可能地消除信号d(n)中的线性部分回声，而残留的非线性回声信号会在非线性滤波（上图中紫色部分）部分中被消除，这两个模块是WebrtcAEC的模块。模块前后依赖，现实场景中远端信号x(n)由扬声器播放出来在被麦克风采集的过程中，同时包含了回声y(n)与近端信号x(n)的线性叠加和非线性叠加：需要消除线性回声的目的是为了增大近端信...

为什么又这么冷呢？我能想到的一个答案是它太难了，它非常有挑战性。下面就来看一下它的技术难点。5非线性声学回声消除的技术难点,我从6个不同的维度比较了线性的和非线性这两种回声消除问题。个维度，系统传递函数。在线性系统里面，我们认为系统传递函数是一个缓慢时变的系统，我们可以通过自适应滤波的方式去逼近这个传递函数，来有效抑制回声。而在非线性系统里面，系统传递函数通常是快变、突变的，我们如果用线性的方法去逼近的话，会出现滤波器的更新速度，跟不上系统传递函数变化的速度，就会导致声学回声消除不理想。第二个维度是优化模型，在线性里面我们是有一套非常完备的线性优化模型，从目标函数的构建到系统优化问...

喇叭发声单元跟麦克接收单元之间，通常是需要做隔振处理的，如果没有隔振处理的话，那么在喇叭发声的过程中，他所产生的振动会通过物理方式传递到麦克接收端。对麦克接收到的声学信号进行调制，而这种振动本质上是一种随机的、非线性的振动，所以它必然会带来非线性失真。手机声学特性调研我们之前针对市面上主要的手机机型做过一次调研，主要调查声学特性。结果我们很惊讶地发现，市面上超过半数的手机机型，声学特性不够理想，对应这里面的“较差”和“极差”这两档。我们平时用手机开外音玩游戏，或者语音通话时，经常会出现漏回声问题和双讲剪切问题，就与手机声学特性不佳有直接联系。当然这组数据只是针对手机这种电子产品，市...

以此来应对市面上绝大多数的移动设备。另外，线性滤波器虽然不具备调整延时的能力，但可以通过估计的index衡量当前信号的延时状态，范围为[0,kNormalNumPartitions]，如果index处于作用域两端，说明真实延时过小或过大，会影响线性回声估计的效果，严重的会带来回声，此时需要结合固定延时与大延时检测来修正。非线性滤波非线性部分一共做了两件事，就是想尽千方百计干掉远端信号。(1)根据线性部分提供的估计的回声信号，计算信号间的相干性，判别远近端帧状态。(2)调整抑制系数，计算非线性滤波参数。非线性滤波抑制系数为hNl，大致表征着估计的回声信号e(n)中，期望的近端成分与残...

至于双讲恢复能力WebRTCAEC算法提供了{kAecNlpConservative,kAecNlpModerate,kAecNlpAggressive}3个模式，由低到高依次不同的抑制程度，远近端信号处理流程,NLMS自适应算法（上图中橙色部分）的运用旨在尽可能地消除信号d(n)中的线性部分回声，而残留的非线性回声信号会在非线性滤波（上图中紫色部分）部分中被消除，这两个模块是WebrtcAEC的模块。模块前后依赖，现实场景中远端信号x(n)由扬声器播放出来在被麦克风采集的过程中，同时包含了回声y(n)与近端信号x(n)的线性叠加和非线性叠加：需要消除线性回声的目的是为了增大近端信...

n)后，被麦克风采集到的信号，此时经过房间混响以及麦克风采集的信号y(n)已经不能等同于信号x(n)了,我们记线性叠加的部分为y'(n),非线性叠加的部分为y''(n),y(n)=y'(n)+y''(n)；s(n):麦克风采集的近端说话人的语音信号，即我们真正想提取并发送到远端的信号；v(n)：环境噪音，这部分信号会在ANS中被削弱；d(n):近端信号，即麦克风采集之后，3A之前的原始信号，可以表示为：d(n)=s(n)+y(n)+v(n)；s'(n):3A之后的音频信号，即准备经过编码发送到对端的信号。WebRTC音频引擎能够拿到的已知信号只有近端信号d(n)和远端参考信号x(n...

声学回声消除应用技术，随着秒新月异的科技发展，各项技术成果不断地应用在我们日益拓展的各领域需求当中，刷新着我们的生活和工作。地球村的崛起，不断以互联网、物联网等方式揭示着万物相连的关系。无论是飞机、高铁还是电话、网络，都成为托起地球新村时空纵横的重要载体。怎样拉近人与人之间的关系，如何建立起更行之有效的联络方式，提高远程协同工作、信息传达效率成为了一个重要命题。远程会议的出现在很大程度上为这种多极化办公互动提供了质量的平台保障，在借助互联网便捷的远程通信架构下，通讯数据安全，稳定可靠，很长一段时间广受用户青睐。然而美中不足的是，这样的（声音）系统仍逃不出的还是自然声学上的问题。有和...

深入浅出WebRTCAEC（声学回声消除）,前言：近年来，音视频会议产品提升着工作协同的效率，在线教育产品突破着传统教育形式的种种限制，娱乐互动直播产品丰富着生活社交的多样性，背后都离不开音视频通信技术的优化与创新，其中音频信息内容传递的流畅性、完整性、可懂度直接决定着用户之间的沟通质量。自2011年WebRTC开源以来，无论是其技术架构，还是其中丰富的算法模块都是值得我们细细品味，音频方面熟知的3A算法（AGC:Automaticgaincontrol;ANS:Adaptivenoisesuppression;AEC:Acousticechocancellation）就是其中闪闪...

直达声总是较早到达人耳，这是因为直达声比反射声的声程短。除了直达声以外，反射的声音形成了混响声，使室内声压级增加。15.比较大声压级厅内空场稳态时的比较大声压级。16.传输频率特性厅内各测点处稳态声压级的平均值相对于扩声系统传声器处声压或扩声设备输入端电压的幅频响应。17.传声增益扩声系统达比较高可用增益时，厅内各测点处稳态声压级平均值与扩声系统传声器处声压级的差值。18.比较高可用增益maximumavailablegain歌舞厅扩声系统在声反馈自激临界状态的增益减去6dB时的增益。扩声系统中使用单指向性传声器、频率均衡器能提高扩声系统的传声增益。19.声场不均匀度有扩声时，厅内...

n)后，被麦克风采集到的信号，此时经过房间混响以及麦克风采集的信号y(n)已经不能等同于信号x(n)了,我们记线性叠加的部分为y'(n),非线性叠加的部分为y''(n),y(n)=y'(n)+y''(n)；s(n):麦克风采集的近端说话人的语音信号，即我们真正想提取并发送到远端的信号；v(n)：环境噪音，这部分信号会在ANS中被削弱；d(n):近端信号，即麦克风采集之后，3A之前的原始信号，可以表示为：d(n)=s(n)+y(n)+v(n)；s'(n):3A之后的音频信号，即准备经过编码发送到对端的信号。WebRTC音频引擎能够拿到的已知信号只有近端信号d(n)和远端参考信号x(n...

这样有助于扩散或展开室内的声音，如图3所示。不要过多地填满泡沫材料，因为填满了的、“死寂”的房间对演奏来说是很不合适的，而保留一些反射声后能给声音加上“空间”和活泼的感觉。其他高频吸声体有睡袋、活动毯子、地毡毛毯、窗帘以及用细薄的棉布或粗麻布罩住的玻璃纤维等。如有可能，把这些材料与墙面之间留有数英寸的空间。这种间距会有助于吸收中低频率成分。有一种宽频段的吸声体，它是罩有细薄棉布或粗麻布的已压制好的（Owens-CorningType703,3lb/ft3）。首先在要进行录音的演奏者的前方或上方只安置一小部分吸声材料，每次只增加一些吸声体，直到所录得的声音满意时为止——通常覆盖总表面...

反映到听感上就是回声（远端判断成近端）或丢字（近端判断为远端）。（2）计算近端信号d(n)与估计的回声信号e(n)的相干性，如图5(b)，第二行为估计的回声信号e(n)，第三行为二者相干性cohde，很明显近端的部分几乎全部逼近，WebRTC用比较严格的门限（>=）即可将区分绝大部分近端帧，且误判的概率比较小，WebRTC工程师设置如此严格的门限想必是宁可一部分双讲效果，也不愿意接受回声残留。从图5可以体会到，线性滤波之后可以进一步凸显远端参考信号x(n)与估计的回声信号e(n)的差异，从而提高远近端帧状态的判决的可靠性。存在的问题与改进理想情况下，远端信号从扬声器播放出来没有非线...

非线性声学回声消除技术,非线性的声学回声消除问题，在实际声学系统里面非常普遍也非常棘手，到目前为止还没有特别有效的办法来解决。目前介绍非线性声学回声消除的公开文献也少之又少。如何处理非线性声学回声消除的，效果又如何？将从非线性声学回声消除产生的原因、研究现状、技术难点出发，详细介绍双耦合的声学回声消除算法以及实验检验结果。我要讲的内容是《非线性声学回声消除技术》，之所以选择这样的方向，主要是基于两个方面的原因：非线性的声学回声消除问题是一个困扰了行业很多年的技术难题，这个问题在实际的声学系统里非常普遍，同时又很棘手，到目前为止，还没有特别有效的办法。我猜测大家应该会对这个课题感兴趣...

他的是线性回声传递函数。基于这样的数学假设，我们收到的信号y就可以表示成发射的信号x分别跟这样两个传递函数进行卷积之后的结果。接下来我们对这个模型进行了适当的简化，简化主要是基于数学分解，我们假设非线性的传递函数，可以分解成线性跟非线性这样两个系统函数的组合形式，就会得到中间的方程。接下来对中间的方程进行变量替换，就得到这个表达式，这个表达式它的物理意义很清晰，我们从可以看到，整个回声路径是可以表示成线性回声路径跟非线性回声路径二者之和的形式，这是它的物理意义。2.双耦合自适应滤波器,基于这样一个数学模型，接下来我们就构建了一种新的滤波器结构，称之为双耦合自适应滤波器。这个滤波器跟...

3.双耦合滤波器设计当滤波器的结构确定下来之后，我们要去设计滤波器系数了。设计过程我把它总结成了三步，第一步就是构建优化准则，第二步是求解滤波器的权系数——Wl和Wn，一步就是构建耦合机制。第一步就是构建优化准则。我觉得构建优化准则，应该是整个滤波器设计里面重要的一步，因为它决定了滤波器性能的上限。什么样的优化准则是一个好的优化准则呢？我觉得好的优化准则需要跟问题的物理特性有效匹配起来，所以在构建优化准则之前，我们先对非线性声学回声的特性进行分析，希望通过这种分析去挖掘非线性声学回声的一些物理特性。我们的分析是基于上面的函数，我们称它为短时相关度，它所表示的是两个信号，在一个短时的...

对麦克接收到的声学信号进行调制，而这种振动本质上是一种随机的、非线性的振动，所以它必然会带来非线性失真。3.手机声学特性调研,我们之前针对市面上主要的手机机型做过一次调研，主要调查声学特性。结果我们很惊讶地发现，市面上超过半数的手机机型，声学特性不够理想，对应这里面的“较差”和“极差”这两档。我们平时用手机开外音玩游戏，或者语音通话时，经常会出现漏回声问题和双讲剪切问题，就与手机声学特性不佳有直接联系。当然这组数据只是针对手机这种电子产品，市面上类似于手机这样的电子产品还有很多，它们应该也有类似的问题。这组数据告诉我们，非线性失真问题在我们生活中的电子产品里是一个普遍存在的问题，我...