监督学习： 从标记的训练数据来推断一个功能的机器学习任务。

无监督学习： 根据类别未知(没有被标记)的训练样本解决模式识别中的各种问题，称之为无监督学习。

强化学习： 用于描述和解决智能体（agent）在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。

半监督学习： 半监督学习使用大量的未标记数据，以及同时使用标记数据，来进行模式识别工作。

优势：端到端解决问题， 削减了对每一个问题设计特征提取器的工作，自动地提取特征，能够解决更为复杂的任务。充分利用大数据，准确度的上限更高。但理论不够完备。

softmax + CE交叉熵损失 求导：

• LSTM：输入门、输出门、遗忘门

牢牢记住：Wh+Ux

• GRU：复位门、更新门

记住：ReLU(AHW)