目录

1 机器学习

2 最大熵与EM算法

2.1 最大熵 

2.1.1 熵  

2.1.2 相对熵(KL散度) 

2.1.3 交叉熵 

2.1.4 信息增益 

2.2 最大熵模型 

2.2.1 原则 

2.2.2 概述

2.2.3 目标函数 

2.3 EM算法 

2.3.1 基础 

2.3.2 概述 

2.3.3 算法流程

 2.3.4 推导

2.3.5 算法中的应用 

---

1 机器学习

2 最大熵与EM算法

2.1 最大熵 

2.1.1 熵  

 

2.1.2 相对熵(KL散度) 

2.1.3 交叉熵 

2.1.4 信息增益 

2.2 最大熵模型 

2.2.1 原则 

2.2.2 概述

2.2.3 目标函数 

 给定x，在训练过程中预测结果和给定的标签一致就为1  

 

2.3 EM算法 

2.3.1 基础 

2.3.2 概述 

2.3.3 算法流程

 2.3.4 推导

  

2.3.5 算法中的应用