语言模型的作用：已知文本前面有若干个词，预测下一个词出现的概率是多少。简单地说，就是一句话符合不符合当前已知的说话习惯。N-gram模型：N-gram模型基于一个假设：第N个词的出现只与前面N-1个词相关，而与其它任何词都不相关，整句的概率就是各个词出现的概率的乘积。它没有训练的过程，只是统计当前词在N元组里出现的次数。一般业内最大的使用三元模型，也就是3-gram模型。因为虽然N越大...

这是我看完很多博客和视频以后对LSTM和Attention Model的一个理解和总结，有一些公式的地方感觉在数学上不能严格的推导出来，就直接贴了流程图。自己能推导出来的，我用白话文字解释了公式的意思，尽量避免用一些难理解的词，有的地方举了些例子，如果不妥的话烦请指正。1. LSTM（长短时记忆网络）之前讲过了RNN循环神经网络，能解决神经网络中信息保存的问题。但是RNN还不够好，因为它存...