求解约束最优化问题，一种途径是在可行域内寻找目标函数值下降得迭代点列（可行方向法），这种方法对于带非线性约束的最优化问题求解效果一般都不太理想。（这也就是为什么可行方向法中约束条件一般是线性约束的原因）。本文学习求解有约束最优化的另一种方法，称为罚函数法。它的基本思想是用原问题的目标函数和约束函数构造新的目标函数——罚函数，从而将约束最优化问题转化为无约束最优化问题来求解。

基本思想：构造一个辅助线性规划问题（ALP）,通过求解它得到线性规则（LP）的初始可行基。

Newton和阻尼Newton收敛速度快，但需计算 Hesse 矩阵的逆，计算量大。现有 n 阶正定矩阵近似代替 Hesse 矩阵的逆，由此产生的方法称为变尺度法，称为尺度矩阵。

外罚函数法的是从可行域 S 的外部逼近最优解，这样得到的近似最优解只是近似地满足约束条件。对于一些工程实际问题，这样的解是不可接受的，因为它虽是最优解，但并非可行解。为了使迭代点总是可行的，本文介绍一种方法——内罚函数法。

针对约束优化问题的最优性条件的探究

对偶单纯形法是利用对偶原理求解原线性规划问题的一种方法，而不是直接求对偶问题的方法。前面介绍的单纯形法相对而言称为原始单纯形法。

线性规划：（要求）目标函数和约束函数都是线性函数，求解的方法是单纯形法。

在约束非线性最优化问题的研究过程中，Zoutendijk 可行方向法是无约束下降算法的自然推广。它的基本思想是从可行点出发，沿着可行方向进行搜索，求出使得目标函数值下降的新的可行点。 算法主要包括选择搜索方向和搜索步长两个主要方面，搜索方向的选择方式不同形成不同的可行方向法。

在上期，分析过成功-进退法之后，这期我们来看看另一种区间收缩法——黄金分割法（0.618算法）