机器学习笔记

简介

作者：李金 
版本：0.0.1
邮件：lijinwithyou@gmail.com

机器学习笔记，使用 jupyter notebook (ipython notebook) 进行展示。

Github 加载 .ipynb 的速度较慢，建议在 Nbviewer 中查看该项目。

---

目录

第一部分来自 Bishop 的经典书籍 Pattern Recognition and Machine Learning。

第二部分来自 Bengio 的最新书籍 Deep Learning。

第一部分 PRML 笔记

• 1. 简介
  • 1.1. 例子：多项式拟合
  • 1.2. 概率论
    • 1.2.1. 概率密度函数
    • 1.2.2. 期望和方差
    • 1.2.3. Bayes 概率
    • 1.2.4. 高斯分布
    • 1.2.5. 重新理解曲线拟合
    • 1.2.6. Bayes 曲线拟合
  • 1.3. 模型选择
  • 1.4. 维数灾难
  • 1.5. 决策理论
    • 1.5.1. 最小错误率决策
    • 1.5.2. 最小风险决策
    • 1.5.3. 拒绝选项
    • 1.5.4. 推断和决策
    • 1.5.5. 回归问题的损失函数
  • 附录 D 变分法
  • 1.6. 信息论
    • 1.6.1. 相对熵和互信息
  • 附录 E Lagrange 乘子
• 2. 概率分布
  • 2.1. 二元变量
    • 2.1.1 Beta 分布
  • 2.2. 多元变量
    • 2.2.1. 狄利克雷分布
  • 2.3. 高斯分布
    • 2.3.1. 条件高斯分布
    • 2.3.2. 边缘高斯分布
    • 2.3.3. 高斯变量的贝叶斯理论
    • 2.3.4. 高斯分布最大似然
    • 2.3.5. 序列估计
    • 2.3.6. 高斯分布的贝叶斯估计
    • 2.3.7. 学生 t 分布

第二部分 DP 笔记

• I 数学和机器学习基础
  • 2. 线性代数
    • 2.1 标量，向量，矩阵和张量
    • 2.2 矩阵乘法
    • 2.2 单位矩阵和逆
    • 2.4 线性无关和生成空间
    • 2.5 范数
    • 2.6 特殊矩阵和向量

---

参考资料和文献：

[1] Christopher, M. Bishop. "Pattern recognition and machine learning." Company New York 16.4 (2006): 049901.

[2] Bengio Y, Goodfellow I J, Courville A. Deep learning[J]. An MIT Press book in preparation. Draft chapters available at http//www.iro.umontreal.ca/∼bengioy/dlbook, 2015.