上海语音识别声学回声降噪算法

我们比较这两个之后就会发现，双讲段主要出现在中间这一段。我们评估双讲性能的主要指标是回声抑制比和近端语音失真度。上面这是经过回声消除之后的语谱，中间的是NLMS算法的结果。我们可以看到它的回声抑制不是很理想，不管在单讲段还是在双讲段，都有比较多的回声残留。而下面这个是采用双耦合算法得到的语谱，可以看到在单讲和双讲里面回声抑制得都比较干净，并且在双讲里，对近端语音的损伤也很小。这个数据对应视频会议场景，因此还需要做一步NLP的处理。上面这个就是基于双耦合算法，做了NLP之后的输出结果。我们可以看到处理完之后，整个语谱很清晰，回声去得很干净，而且语谱没有太大损伤，双讲很通透。我再来简单总结一下，主要是介绍了三个方面的内容，个就是认识了非线性声学回声、产生的原因、研究现状以及技术难点。接下来重点介绍了华为云音视频的双耦合声学回声消除算法，我们的主要贡献体现在两个方面，个方面就是构建一种双耦合自适应滤波器结构；第二个就是提出了小平均短时累计误差准则并进行求解。通过求解之后，我们会得到双耦合滤波器的线性滤波器是具有Wiener-Hopf方程解的比较好解这种形式，然后非线性滤波器具有小二乘解。的是声学回声的路径。上海语音识别声学回声降噪算法

    而正是这两级客观存在的物理声学现象，造就了我们所讨论的内容。在远程会议系统的终端（本地），为了实现多人互动、多人拾音等目的，系统声音免不了被放大还原，而在诸如此类的放大系统中，为本地音箱能够听到远端声音，并能把本地拾音信号传送到远端而互通。众所周知，话筒在拾取到放大后的音箱信号后，再次回授、无限循环而产生反馈现象，而系统在均衡声场后，该现象其实是可以得到明显改观的。但话筒的拾音灵敏度是不是可以无限大呢？不是，在足够电平条件下，它始终会因拾取到具有相干性频率相位关系的输入信号而建立起回授。上述啸叫现象并不是本文重点，但它为我们讨论接下来的话题提供了一个前提，那就是（同一个声场环境中）话筒和音箱无论怎么摆都无法做到完全的隔离，更别说空间声场条件有限的小中型会议室了。在一套有扩声、有拾音的远程会议系统中，为了防止信号回授，我们通常会有意识地将远端输入信号不再路由给远端输出。然而无法抗拒的是，本地话筒因拾取到远端传送至本地扩声的信号，仍可将声音重新传送至远端。这也是一种回授，明显的远程回授现象可使得系统发生自激震荡。通过一个简易的远程音频传输示意图。能帮助我们更容易地理解声音信号是怎样的流向。

     天津智能音响声学回声通话声学回声消除应用技术。

    对麦克接收到的声学信号进行调制，而这种振动本质上是一种随机的、非线性的振动，所以它必然会带来非线性失真。3.手机声学特性调研,我们之前针对市面上主要的手机机型做过一次调研，主要调查声学特性。结果我们很惊讶地发现，市面上超过半数的手机机型，声学特性不够理想，对应这里面的“较差”和“极差”这两档。我们平时用手机开外音玩游戏，或者语音通话时，经常会出现漏回声问题和双讲剪切问题，就与手机声学特性不佳有直接联系。当然这组数据只是针对手机这种电子产品，市面上类似于手机这样的电子产品还有很多，它们应该也有类似的问题。这组数据告诉我们，非线性失真问题在我们生活中的电子产品里是一个普遍存在的问题，我相信对这个问题的研究将会是一个很有价值也很有意义的方向。4.非线性声学回声消除技术研究现状我之前在IEEE的数字图书馆里搜索了“声学回声消除”的相关文献，一共找到了3402篇，其中有会议论文，还有期刊、杂志、书等。我用同样的方法搜索了“非线声学回声消除”，结果只找到了254篇文献，不到前面文献的1/10，这意味着非线性声学回声消除技术在整个声学回声消除领域是一个相对比较冷的研究方向。既然这个方向很有价值也很有意义。

    非线性声学回声产生的原因非线性声学回声产生的原因，我一共列了两条原因。原因之一，声学器件的小型化与廉价化，这里所指的声学器件就是前面B里面提到的功率放大器和喇叭。为什么声学器件的小型化容易产生非线性的失真呢？这个需要从喇叭发声的基本原理说起，我们都知道声波的本质是一种物理振动，而喇叭发声的基本原理就是通过电流来驱动喇叭的振膜发生振动之后，这个振膜会带动周围的空气分子相应发生振动，这样就产生了声音。如果我们要发出一个大的声音的话，那么就需要在单位时间内用更多的电流去驱动更多的空气分子发生振动。假设有大小不同的两个喇叭，他们用同样的功率去驱动，对于大喇叭而言，由于它跟空气接触的面积要大一些，所以他在单位时间内能够带动更多的空气分子振动，所以它发出来的声音也会大一些。而小喇叭如果想发出跟大喇叭一样大的声音，就需要加大驱动功率，这样会带来一个问题：我们的功率放大器件会进入到一种饱和失真的状态，由此就会带来非线性的失真。这就是声学器件小型化容易产生非线性失真的一个主要的原因。这里廉价化比较好理解了，就不多说了。原因之二。就是声学结构设计的不合理。典型的一个实例就是声学系统的隔振设计不合理。

     实现对整个声学回声路径的变化进行有效跟进。

    黑色这条线是标准NLMS算法的回声抑制比。我们可以看到，NLMS算法在收敛之后，回声抑制比只能到10个分贝左右，相对比较低。而双耦合算法在收敛之后，可以达到25个分贝以上，也就是说它比NLMS算法多15个分贝，这个优势是很明显的。接下来我们再看第二个示例，针对弱非线性失真的情况，左边是语谱，右边是回声抑制比。我们评估单讲性能的主要指标是回声抑制比和收敛速度。首先看一下NLMS算法，它在收敛之后，大概可以抑制22~25个分贝。这个算法的收敛速度很慢，大概经过100多帧之后才会进入到相对收敛的状态。再来看一下双耦合算法，在稳定之后，可以抑制35~40个分贝，比NLMS算法大概提升15~20个分贝的回声抑制比。同时它还有一个很明显的优势：收敛速度很快，几乎是回声到了之后，他瞬间就进入到收敛状态。接下来这个是针对不同手机机型的回声抑制比的比较。红色是双耦合算法，蓝色是NLMS算法，从这组数据里面，我们可以看到双耦合算法比NLMS算法普遍提升了大概10个分贝以上的回声抑制比，具有比较大的优势。再进入双讲测试场景。我首先介绍一下测试的示例，这组数据是一个视频会议的数据，左边这个是原始的麦克信号语谱，右边这个是回声参考信号语谱。

     推出的双耦合的声学回声消除算法以及实验检验结果。上海语音识别声学回声降噪算法

AEC声学回声，电话的扬声器的声音(包括反射声)，被麦克风拾取传送给远端，使远端说话人又听到自己的声音。上海语音识别声学回声降噪算法

    这样有助于扩散或展开室内的声音，如图3所示。不要过多地填满泡沫材料，因为填满了的、“死寂”的房间对演奏来说是很不合适的，而保留一些反射声后能给声音加上“空间”和活泼的感觉。其他高频吸声体有睡袋、活动毯子、地毡毛毯、窗帘以及用细薄的棉布或粗麻布罩住的玻璃纤维等。如有可能，把这些材料与墙面之间留有数英寸的空间。这种间距会有助于吸收中低频率成分。有一种宽频段的吸声体，它是罩有细薄棉布或粗麻布的已压制好的（Owens-CorningType703,3lb/ft3）。首先在要进行录音的演奏者的前方或上方只安置一小部分吸声材料，每次只增加一些吸声体，直到所录得的声音满意时为止——通常覆盖总表面的50%~60%。吸声位置位于从混录位置方向观察为音箱的镜像位置上。吸声体置于音箱后面的墙上，也可把吸声板吊挂在混录位置与音箱之间半路中心的上方，用吊钩和线绳悬挂。另一种吸声体为位于传声器附近的安装的声学板。例如ModTrap及sERelexion滤波器。声学基本概念，你知多少？1.吸声声波通过某种介质或射到某介质表面时，声能减少并转换为其他能量的过程称为吸声。2.吸声的作用对同一个空间，改变室内声场的特性。吸声的主要作用是吸收室内的混响声,对直达声不起作用。

    上海语音识别声学回声降噪算法