统计语言模型（Statistical Language Model）NLP早期常用的统计方法，对于一个sequence序列S的句子，其出现的概率计算如下：P(S)=P(w1)⋅P(w2∣w1)⋅P(w3∣w2)⋯P(wn∣wn−1)(1)P(S)=P(w_1){\cdot}P(w_2|w_1){\cdot}P(w_3|w_2){\cdots}P(w_{n}|w_{n-1}) \tag1P(...

神经网络语言模型(Neural Network Language Model)模型介绍2003年，Bengio首次提出Neural Network Language Model(NNLM), 开创了神经网络运用在语言模型的先河，论文 《A Neural Probabilistic Language Model》上一章提到传统的统计语言模型的缺点，在高维的情况下，由于N元组的稀疏问题，传统的语...

统计语言模型（Statistical Language Model）NLP早期常用的统计方法，对于一个sequence序列S的句子，其出现的概率计算如下：P(S)=P(w1)⋅P(w2∣w1)⋅P(w3∣w2)⋯P(wn∣wn−1)(1)P(S)=P(w_1){\cdot}P(w_2|w_1){\cdot}P(w_3|w_2){\cdots}P(w_{n}|w_{n-1}) \tag1P(...

神经网络语言模型(Neural Network Language Model)模型介绍2003年，Bengio首次提出Neural Network Language Model(NNLM), 开创了神经网络运用在语言模型的先河，论文 《A Neural Probabilistic Language Model》上一章提到传统的统计语言模型的缺点，在高维的情况下，由于N元组的稀疏问题，传统的语...

1. 背景随着NLP语言模型的发展，模型的计算越来越负责，很难将BERT应用与一些资源有限的设备上。为了提升模型的计算速度，提出了tinybert，模型预测提升了9.4倍的速度，模型大小缩小了7.5倍. 具体论文见 《TinyBERT: Distilling BERT for Natural Language Understanding》1.1 模型结构变换tinybert的层数相对bert ba

《StructBERT: Incorporating Languages structures into pre-training for deep language understading》

《DistilBERT, a distilled version of BERT: smaller,faster, cheaper and lighter》

目前语音识别主流是基于WFST解码器，WFST中的优化操作如Determinization，Minimization，Weight Pushing 使得Veterbi解码速度大大加快。 然而实际语音识别的问题还有很多，第一，往往基于静态的HCLG.fst 可能非常大，需要消耗大量内存；第二，静态的HCLG.fst 非常大，一旦语言模型G.fst或者 HMM模型H.fst, Context phon

本文介绍WFST中Determinization这一操作。首先介绍什么是Determinization。 在Openfst官网中介绍如下：The result will be an equivalent FST that has the property that no state has two transitions with the same input label.detemi...

本文介绍kaldi语音识别对单音素训练的大致流程。