机器学习必备知识——凸优化
定义凸优化问题（OPT，convex optimization problem）指定义在凸集中的凸函数最优化的问题。尽管凸优化的条件比较苛刻，但仍然在机器学习领域有十分广泛的应用。凸优化问题的优势1、凸优化问题的局部最优解就是全局最优解2、很多非凸问题都可以被等价转化为凸优化问题或者被近似为凸优化问题（例如拉格朗日对偶问题）3、凸优化问题的研究较为成熟，当一个具体被归为一个凸优化问题，基...
·
定义
凸优化问题（OPT，convex optimization problem）指定义在凸集中的凸函数最优化的问题。尽管凸优化的条件比较苛刻，但仍然在机器学习领域有十分广泛的应用。
凸优化问题的优势
1、凸优化问题的局部最优解就是全局最优解
2、很多非凸问题都可以被等价转化为凸优化问题或者被近似为凸优化问题（例如拉格朗日对偶问题）
3、凸优化问题的研究较为成熟，当一个具体被归为一个凸优化问题，基本可以确定该问题是可被求解的
如何来判断一个函数是否是凸函数呢？
对于一元函数f(x)，我们可以通过其二阶导数f″(x) 的符号来判断。如果函数的二阶导数总是非负，即f″(x)≥0 ，则f(x)是凸函数对于多元函数f(X)，我们可以通过其Hessian矩阵（Hessian矩阵是由多元函数的二阶导数组成的方阵）的正定性来判断。如果Hessian矩阵是半正定矩阵，则是f(X)凸函数
凸优化问题
1. 定义：
当 fx 和gx 均为凸函数，而hx 均为仿射函数时, 上述的优化问题即凸优化问题。
2. 常见的凸优化问题
更多推荐
0
0- 0
已为社区贡献1条内容
所有评论(0)