目录

目录11.1 导言11.2 投影追踪回归Projection Pursuit Regression11.3 神经网络11.4 拟合神经网络11.5 训练神经网络中的一些问题11.5.1 初始值11.5.2 权重衰减11.5.3 输入的缩放11.5.4 隐层单元数和层数11.5.5 多极小值11.6 例子：模拟数据11.7 例子：邮编数字11.8 讨论11.9 贝叶斯神经网络和NIPS2003挑战1

目录一个概率分布问题变分法预备定理优化问题与函数集合Euler方程第一形式概率分布问题的解决问题1的解决问题2的解决小结一个概率分布问题介绍变分法之前，先抛出一个和机器学习有关的概率问题：一个一维分布p(x)p(x)p(x)：若已知期望为μ\muμ，方差为σ2\sigma^2σ2，熵最大的情况下ppp是什么分布？不要问题1的条件，换成若已知随机变量的取值范围在(a,b)(a,b)(a,...

目录（这是一篇半年前写的东西……）摘要背景算法学生初始化教学阶段学习阶段流程总结优缺点优点缺点一些改进总结参考文献摘要教学优化算法（Teaching-learning-based optimization, TLBO）是一种基于种群的启发式随机群智能算法。与其他的进化算法类似，该方法也存在迭代过程。该过程分为两步，每个阶段执行各自的优化。相比于其他的算法，教学优化算法的主要优势在于概念简单、超参数

目录线性规划及对偶形式最大流最小割定理线性规划及对偶形式线性规划即min⁡cTxs.t.Ax⩾bx⩾0\begin{aligned}\min\quad&c^Tx \\s.t. \quad &Ax\geqslant b \\&x\geqslant 0\end{aligned}mins.t.​cTxAx⩾bx⩾0​对偶形式为max⁡bTys.t.Ay⩽cy⩾0\begin{al

目录7.2 偏差、方差和模型复杂度7.3 偏差-方差分解7.3.1 方差-偏差权衡7.2 偏差、方差和模型复杂度P220 测试误差test error就是泛化误差generalization error（也就是期望风险）；对其的训练集求期望，得到期望预测误差expected prediction error或称期望测试误差expected test errorP221 −2×log-likelih

目录写在前面基于矩阵的变换（Matrix-based Transforms）正交变换二维情况小波变换的基本原理尺度函数（Father Scaling Function）基本概念哈尔尺度函数尺度函数的要求其他性质小波函数（Mother Wavelet Function）基本概念哈尔小波函数小波级数展开（Wavelet Series Expansion）一维离散小波变换（1-D Discrete Wa

目录写在前面基于矩阵的变换（Matrix-based Transforms）正交变换二维情况小波变换的基本原理尺度函数（Father Scaling Function）基本概念哈尔尺度函数尺度函数的要求其他性质小波函数（Mother Wavelet Function）基本概念哈尔小波函数小波级数展开（Wavelet Series Expansion）一维离散小波变换（1-D Discrete Wa

（终于把第十章读完了，这一章应该相对轻松。但这两天状态有待调整，所以没咋认真读）目录11.1 Basic Sampling AlgorithmsP526 标准概率分布P528 拒绝采样P530 可调节的拒绝采样Adaptive rejection samplingP532 重要性采样P534 采样-重要性-重采样 Sampling-importance-resamplingP536 采样和EM算法