本文开始，我们介绍利用目标函数解析性质求解无约束化问题的解析法。

在前期，我们讨论了成功失败算法和黄金分割算法，那么这一期，我们来看看一种最为常见也最为简单的一维搜素方法——二分法

求解约束最优化问题，一种途径是在可行域内寻找目标函数值下降得迭代点列（可行方向法），这种方法对于带非线性约束的最优化问题求解效果一般都不太理想。（这也就是为什么可行方向法中约束条件一般是线性约束的原因）。本文学习求解有约束最优化的另一种方法，称为罚函数法。它的基本思想是用原问题的目标函数和约束函数构造新的目标函数——罚函数，从而将约束最优化问题转化为无约束最优化问题来求解。

基本思想：构造一个辅助线性规划问题（ALP）,通过求解它得到线性规则（LP）的初始可行基。

Newton和阻尼Newton收敛速度快，但需计算 Hesse 矩阵的逆，计算量大。现有 n 阶正定矩阵近似代替 Hesse 矩阵的逆，由此产生的方法称为变尺度法，称为尺度矩阵。

外罚函数法的是从可行域 S 的外部逼近最优解，这样得到的近似最优解只是近似地满足约束条件。对于一些工程实际问题，这样的解是不可接受的，因为它虽是最优解，但并非可行解。为了使迭代点总是可行的，本文介绍一种方法——内罚函数法。

本章节讲述无约束规划中的最小二乘法。

针对约束优化问题的最优性条件的探究

对偶单纯形法是利用对偶原理求解原线性规划问题的一种方法，而不是直接求对偶问题的方法。前面介绍的单纯形法相对而言称为原始单纯形法。

基本思想：从一个基本可行解出发，一步步的转到更优的基本可行解，直至最优解。单纯形法总有两种形式，一是单纯形法，还有一种是单纯形表法。下面我们依次展开讨论。