
什么是凹函数和凸函数?
想象一个碗倒过来的样子。当你把一个球放在这样的表面上时,球会滚向边缘,不会停留在中间。再想象一个桥拱的形状,上面平坦,下面是弯曲的。无论你在桥拱的哪个地方放一个球,球都会滚向两边。凹函数的定义是:对于函数fxf(x)fx上的任意两点x1x_1x1和x2x_2x2,以及任意的λ∈01λ∈01,都有fλx11−λx2≥λfx11−λfx2fλx11−λx2≥λfx11−λf。
日常生活中的“凹”和“凸”
在日常生活中,“凹”通常指一个物体或表面向内弯曲,而“凸”则指一个物体或表面向外突出。比如:
-
凹:我们一般形容为“凹下去”
-
凸:我们一般形容为“凸出来”
但数学上的“凹”与"凸"可能有所不同!!!
什么是凹函数和凸函数?
凹函数(Concave Function)
1. 样例
- 想象一个碗倒过来的样子。当你把一个球放在这样的表面上时,球会滚向边缘,不会停留在中间。
- 再想象一个桥拱的形状,上面平坦,下面是弯曲的。无论你在桥拱的哪个地方放一个球,球都会滚向两边。
2. 定义
- 凹函数的定义是:对于函数 f ( x ) f(x) f(x) 上的任意两点 x 1 x_1 x1 和 x 2 x_2 x2,以及任意的 λ ∈ [ 0 , 1 ] \lambda \in [0, 1] λ∈[0,1],都有 f ( λ x 1 + ( 1 − λ ) x 2 ) ≥ λ f ( x 1 ) + ( 1 − λ ) f ( x 2 ) f(\lambda x_1 + (1-\lambda)x_2) \geq \lambda f(x_1) + (1-\lambda)f(x_2) f(λx1+(1−λ)x2)≥λf(x1)+(1−λ)f(x2)。
- 也就是说,函数在两点之间的线段始终在函数的图像下方或正好位于图像上。
凹函数的例子: f ( x ) = − x 2 f(x) = -x^2 f(x)=−x2。这是一个开口向下的抛物线。
3. 性质
- 局部最大值:如果 f ( x ) f(x) f(x)在某个点 x ∗ x^* x∗达到局部最大值,则 x ∗ x^* x∗也是全局最大值点。
- 导 数 : 如 果 f ( x ) f( x) f(x)是可导的,则 f ′ ( x ) f^{\prime}(x) f′(x)是递减的(即 f ′ ′ ( x ) ≤ 0 f^{\prime\prime}(x)\leq0 f′′(x)≤0)。
- 和:如果 f ( x ) f(x) f(x)和 g ( x ) g(x) g(x)都是凹函数,则 f ( x ) + g ( x ) f(x)+g(x) f(x)+g(x)也是凹函数。
- 线 性 变 换 : 如 果 f ( x ) f( x) f(x)是凹函数,那么对于任何常数 c c c, c f ( x ) cf(x) cf(x)也是凹函数;如果 A A A是一个线性变换矩阵,则 f ( A x ) f(Ax) f(Ax)也是凹
函数。
凸函数(Convex Function)
1. 样例
- 想象一个碗的正常样子。当你把一个球放在这样的表面上时,球会滚向底部,停留在中间。
2. 定义
-
凸函数的定义是:对于函数 g ( x ) g(x) g(x) 上的任意两点 x 1 x_1 x1 和 x 2 x_2 x2,以及任意的 λ ∈ [ 0 , 1 ] \lambda \in [0, 1] λ∈[0,1],都有 g ( λ x 1 + ( 1 − λ ) x 2 ) ≤ λ g ( x 1 ) + ( 1 − λ ) g ( x 2 ) g(\lambda x_1 + (1-\lambda)x_2) \leq \lambda g(x_1) + (1-\lambda)g(x_2) g(λx1+(1−λ)x2)≤λg(x1)+(1−λ)g(x2)。
-
也就是说,函数在两点之间的线段始终在函数的图像上方或正好位于图像上。
-
凸函数的例子: g ( x ) = x 2 g(x) = x^2 g(x)=x2。这是一个开口向上的抛物线。
假设 g ( x ) = x 2 ,这是一个典型的凸函数。我们选择两个点 x 1 = 1 和 x 2 = 3 ,以及 λ = 0.5 。 ∙ λ x 1 + ( 1 − λ ) x 2 = 0.5 ⋅ 1 + 0.5 ⋅ 3 = 2 ∙ g ( λ x 1 + ( 1 − λ ) x 2 ) = g ( 2 ) = 2 2 = 4 ∙ λ g ( x 1 ) + ( 1 − λ ) g ( x 2 ) = 0.5 ⋅ 1 2 + 0.5 ⋅ 3 2 = 0.5 + 4.5 = 5 \begin{aligned}&\text{假设 }g(x)=x^2\text{,这是一个典型的凸函数。我们选择两个点 }x_1=1\text{ 和 }x_2=3\text{,以及 }\lambda=0.5\text{。}\\&\bullet \lambda x_1+(1-\lambda)x_2=0.5\cdot1+0.5\cdot3=2\\&\bullet g(\lambda x_1+(1-\lambda)x_2)=g(2)=2^2=4\\&\bullet \lambda g(x_1)+(1-\lambda)g(x_2)=0.5\cdot1^2+0.5\cdot3^2=0.5+4.5=5\end{aligned} 假设 g(x)=x2,这是一个典型的凸函数。我们选择两个点 x1=1 和 x2=3,以及 λ=0.5。∙λx1+(1−λ)x2=0.5⋅1+0.5⋅3=2∙g(λx1+(1−λ)x2)=g(2)=22=4∙λg(x1)+(1−λ)g(x2)=0.5⋅12+0.5⋅32=0.5+4.5=5
可以看到 g ( 2 ) = 4 ≤ 5 = 0.5 ⋅ 1 2 + 0.5 ⋅ 3 2 ,符合凸函数的定义。 \text{可以看到 }g(2)=4\leq5=0.5\cdot1^2+0.5\cdot3^2\text{,符合凸函数的定义。} 可以看到 g(2)=4≤5=0.5⋅12+0.5⋅32,符合凸函数的定义。
3.性质
- 局部最小值:如果 g ( x ) g(x) g(x)在某个点 x ∗ x^* x∗达到局部最小值,则 x ∗ x^* x∗也是全局最小值点
- 导数 : 如 果 g( x)是可导的,则 g ′ ( x ) g^{\prime}(x) g′(x)是递增的 (即 g ′ ′ ( x ) ≥ 0 ) g^{\prime\prime}(x)\geq0) g′′(x)≥0)
- 和:如果 g ( x ) g(x) g(x)和 h ( x ) h(x) h(x)都是凸函数,则 g ( x ) + h ( x ) g(x)+h(x) g(x)+h(x)也是凸函数
- 线性变换:如果 g ( x ) g(x) g(x)是凸函数,那么对于任何常数 c c c, c g ( x ) cg(x) cg(x)也是凸函数;如果 A A A是一个线性变换矩阵,则 g ( A x ) g(Ax) g(Ax)也是巴
函数。
应用
- 优化问题:在优化问题中,如果我们想找到一个函数的最小值,而这个函数是凸的,那么找到全局最小值就相对容易。相反,如果函数是凹的,我们需要找到的是最大值。
更多推荐
所有评论(0)