语言模型的作用：已知文本前面有若干个词，预测下一个词出现的概率是多少。简单地说，就是一句话符合不符合当前已知的说话习惯。N-gram模型：N-gram模型基于一个假设：第N个词的出现只与前面N-1个词相关，而与其它任何词都不相关，整句的概率就是各个词出现的概率的乘积。它没有训练的过程，只是统计当前词在N元组里出现的次数。一般业内最大的使用三元模型，也就是3-gram模型。因为虽然N越大...

简单的花一点时间总结一下梯度的计算情况。要尽量少花一点的时间来总结基础知识，多去写写代码，调一下bug，再不调连debug都忘了。什么是梯度下降法？什么又是梯度？只看概念的话记不住，主要是理解。梯度：高数的知识，是个向量，每点只有一个梯度。=梯度的方向：与这个函数在该点增长最快的方向一致。梯度的大小：|梯度|=max(方向导数)，具体概念都是高数的知识。上式要一阶可导。梯度下降法：求损失函...

语言模型的作用：已知文本前面有若干个词，预测下一个词出现的概率是多少。简单地说，就是一句话符合不符合当前已知的说话习惯。N-gram模型：N-gram模型基于一个假设：第N个词的出现只与前面N-1个词相关，而与其它任何词都不相关，整句的概率就是各个词出现的概率的乘积。它没有训练的过程，只是统计当前词在N元组里出现的次数。一般业内最大的使用三元模型，也就是3-gram模型。因为虽然N越大...