语言模型语言模型是根据语言客观事实对语言进行抽象数学建模。可以描述为一串单词序列的概率分布：通过极大化L可以衡量一段文本是否更像是自然语言(根据文本出现的概率)：函数P的核心在于，可以根据上文预测后面单词的概率(也可以引入下文联合预测)。其中一种很常用的语言模型就是神经网络语言模型。神经网络语言模型NNLM：给定上文的单词，利用神经网络来预测当前位置的单词。即最大化：...

语音识别中声音和文字的表示声音：通常表示为一个d维、长度为T的向量序列，文字：表示为长度为N的token序列(token的共V类)，token通常用它在词表中id表示。token通常有很多种粒度：Bytes < Grapheme/Phoneme < Morpheme < WordPhoneme：声音单元，通常需要配合词典(word-phoneme)使用，是一些...

Hidden Markov Model (HMM)以前语音识别用的是统计模型，而现在，深度学习的方法有很多思想也还是借鉴的HMM。X是输入语音序列，Y是输出文字，我们的目标是穷举所有可能的Y，找到一个\(Y*\)使得\(P(Y|X)\)最大化。这个过程叫作解码。根据贝叶斯定律，我们可以把它变成\(\frac{P(X|Y)P(Y)}{P(X)}\)。由于P(X)与我们的解码任务是无...

语音识别模型：语音识别模型主要分为两种，一种是基于seq2seq的，一种是基于HMM的。seq2seq的模型主要有LAS，CTC，RNN-T，Neural Transducer，MoChA。本节讲最流行的LAS，就是Listen，Atten，and Spell，典型的seq2seq+attention的自编码模型。1. Listen：编码器会把输入的一串声学特征，转换为高维隐...