江西语音识别器

    Hinton提出深度置信网络（DBN），促使了深度神经网络（DNN）研究的复苏。2009年，Hinton将DNN应用于语音的声学建模，在TIMIT上获得了当时好的结果。2011年底，微软研究院的俞栋、邓力又把DNN技术应用在了大词汇量连续语音识别任务上，降低了语音识别错误率。从此语音识别进入DNN-HMM时代。DNN-HMM主要是用DNN模型代替原来的GMM模型，对每一个状态进行建模，DNN带来的好处是不再需要对语音数据分布进行假设，将相邻的语音帧拼接又包含了语音的时序结构信息，使得对于状态的分类概率有了明显提升，同时DNN还具有强大环境学习能力，可以提升对噪声和口音的鲁棒性。简单来说，DNN就是给出输入的一串特征所对应的状态概率。由于语音信号是连续的，各个音素、音节以及词之间没有明显的边界，各个发音单位还会受到上下文的影响。虽然拼帧可以增加上下文信息，但对于语音来说还是不够。而递归神经网络（RNN）的出现可以记住更多历史信息，更有利于对语音信号的上下文信息进行建模。由于简单的RNN存在梯度炸和梯度消散问题，难以训练，无法直接应用于语音信号建模上，因此学者进一步探索，开发出了很多适合语音建模的RNN结构，其中有名的就是LSTM。主要是将人类语音中的词汇内容转换为计算机可读的输入。江西语音识别器

    DFCNN使用大量的卷积直接对整句语音信号进行建模，主要借鉴了图像识别的网络配置，每个卷积层使用小卷积核，并在多个卷积层之后再加上池化层，通过累积非常多卷积池化层对，从而可以看到更多的历史信息。2018年，阿里提出LFR-DFSMN（LowerFrameRate-DeepFeedforwardSequentialMemoryNetworks）。该模型将低帧率算法和DFSMN算法进行融合，语音识别错误率相比上一代技术降低20%，解码速度提升3倍。FSMN通过在FNN的隐层添加一些可学习的记忆模块，从而可以有效的对语音的长时相关性进行建模。而DFSMN是通过跳转避免深层网络的梯度消失问题，可以训练出更深层的网络结构。2019年，百度提出了流式多级的截断注意力模型SMLTA，该模型是在LSTM和CTC的基础上引入了注意力机制来获取更大范围和更有层次的上下文信息。其中流式表示可以直接对语音进行一个小片段一个小片段的增量解码；多级表示堆叠多层注意力模型；截断则表示利用CTC模型的尖峰信息，把语音切割成一个一个小片段，注意力模型和解码可以在这些小片段上展开。在线语音识别率上，该模型比百度上一代DeepPeak2模型提升相对15%的性能。开源语音识别Kaldi是业界语音识别框架的基石。

    江西语音识别器损失函数通常是Levenshtein距离，对于特定的任务它的数值是不同的。

    DTW）技术基本成熟，特别提出了矢量量化（Vec⁃torQuantization，VQ）和隐马尔可夫模型（HiddenMar⁃kovModel，HMM）理论。20世纪80年代，语音识别任务开始从孤立词、连接词的识别转向大词汇量、非特定人、连续语音的识别，识别算法也从传统的基于标准模板匹配的方法转向基于统计模型的方法。在声学模型方面，由于HMM能够很好的描述语音时变性和平稳性，开始被应用于大词汇量连续语音识别（LargeVocabularyContinousSpeechRecognition，LVCSR）的声学建模；在语言模型方面，以N元文法的统计语言模型开始应用于语音识别系统。在这一阶段，基于HMM/VQ、HMM/高斯混合模型、HMM/人工神经网络的语音建模方法开始应用于LVCSR系统，语音识别技术取得新突破。20世纪90年代以后，伴随着语音识别系统走向实用化，语音识别在细化模型的设计、参数提取和优化、系统的自适应方面取得较大进展。同时，人们更多地关注话者自适应、听觉模型、快速搜索识别算法以及进一步的语言模型的研究等课题。此外，语音识别技术开始与其他领域相关技术进行结合，以提高识别的准确率，便于实现语音识别技术的产品化。怎么构建语音识别系统？语音识别系统构建总体包括两个部分：训练和识别。

    机器必然要超越人类的五官，能够看到人类看不到的世界，听到人类听不到的世界。语音识别的产业历程语音识别这半个多世纪的产业历程中，其中的共有三个关键节点，两个和技术有关，一个和应用有关。关键节点是1988年的一篇博士论文，开发了基于隐马尔科夫模型（HMM）的语音识别系统——Sphinx，当时实现这一系统的正是现在的投资人李开复。从1986年到2010年，虽然混合高斯模型效果得到持续改善，而被应用到语音识别中，并且确实提升了语音识别的效果，但实际上语音识别已经遭遇了技术天花板，识别的准确率很难超过90%。很多人可能还记得，在1998年前后IBM、微软都曾经推出和语音识别相关的软件，但终并未取得成功。第二个关键节点是2009年深度学习被系统应用到语音识别领域中。这导致识别的精度再次大幅提升，终突破90%，并且在标准环境下逼近98%。有意思的是，尽管技术取得了突破，也涌现出了一些与此相关的产品，比如Siri、GoogleAssistant等，但与其引起的关注度相比，这些产品实际取得的成绩则要逊色得多。Siri刚一面世的时候，时任GoogleCEO的施密特就高呼，这会对Google的搜索业务产生根本性威胁，但事实上直到AmazonEcho的面世，这种根本性威胁才真的有了具体的载体。语音识别的基本原理是现有的识别技术按照识别对象可以分为特定人识别和非特定人识别。

    LSTM通过输入门、输出门和遗忘门可以更好的控制信息的流动和传递，具有长短时记忆能力。虽然LSTM的计算复杂度会比DNN增加，但其整体性能比DNN有相对20%左右稳定提升。BLSTM是在LSTM基础上做的进一步改进，考虑语音信号的历史信息对当前帧的影响，还要考虑未来信息对当前帧的影响，因此其网络中沿时间轴存在正向和反向两个信息传递过程，这样该模型可以更充分考虑上下文对于当前语音帧的影响，能够极大提高语音状态分类的准确率。BLSTM考虑未来信息的代价是需要进行句子级更新，模型训练的收敛速度比较慢，同时也会带来解码的延迟，对于这些问题，业届都进行了工程优化与改进，即使现在仍然有很多大公司使用的都是该模型结构。图像识别中主流的模型就是CNN，而语音信号的时频图也可以看作是一幅图像，因此CNN也被引入到语音识别中。要想提高语音识别率，就需要克服语音信号所面临的多样性，包括说话人自身、说话人所处的环境、采集设备等，这些多样性都可以等价为各种滤波器与语音信号的卷积。而CNN相当于设计了一系列具有局部关注特性的滤波器，并通过训练学习得到滤波器的参数，从而从多样性的语音信号中抽取出不变的部分。自动语音识别（Automatic Speech Recognition， ASR），也可以简称为语音识别。上海实时语音识别

信号处理和特征提取可以视作音频数据的预处理部分，一般来说，一段高保真、无噪声的语言是非常难得的。江西语音识别器

    取距离近的样本所对应的词标注为该语音信号的发音。该方法对解决孤立词识别是有效的，但对于大词汇量、非特定人连续语音识别就无能为力。因此，进入80年代后，研究思路发生了重大变化，从传统的基于模板匹配的技术思路开始转向基于统计模型（HMM）的技术思路。HMM的理论基础在1970年前后就已经由Baum等人建立起来，随后由CMU的Baker和IBM的Jelinek等人将其应用到语音识别当中。HMM模型假定一个音素含有3到5个状态，同一状态的发音相对稳定，不同状态间是可以按照一定概率进行跳转；某一状态的特征分布可以用概率模型来描述，使用的模型是GMM。因此GMM-HMM框架中，HMM描述的是语音的短时平稳的动态性，GMM用来描述HMM每一状态内部的发音特征。基于GMM-HMM框架，研究者提出各种改进方法，如结合上下文信息的动态贝叶斯方法、区分性训练方法、自适应训练方法、HMM/NN混合模型方法等。这些方法都对语音识别研究产生了深远影响，并为下一代语音识别技术的产生做好了准备。自上世纪90年代语音识别声学模型的区分性训练准则和模型自适应方法被提出以后，在很长一段内语音识别的发展比较缓慢，语音识别错误率那条线一直没有明显下降。DNN-HMM时代2006年，Hinton提出深度置信网络。

    江西语音识别器