跳转至

凸性为何能把局部极小升级为整体极小?

先备知识

你需要会使用中值定理判断单调性,理解切线与弦线的斜率,并能区分“至少存在一个” “至多存在一个”和“恰好存在一个”。第 17.1 单元已经用导数符号分析函数形态,本页 把这种局部信息升级为整个区间上的几何约束。

学习目标

完成本单元后,你应当能够:

  1. 用弦不等式判断函数是否凸或严格凸;
  2. 从凸性推出切线位于图像下方的支撑线不等式;
  3. 证明可微函数凸当且仅当导函数单调不减;
  4. 正确使用二阶导数判别凸性与严格凸性;
  5. 说明严格凸性为何保证极小点唯一,却不保证极小点存在。

牵引问题

一般函数的一个局部极小点,可能只是许多“山谷”中的一个。为什么在凸函数上,只要 找到一个驻点,就可以停止搜索并宣布它是整体极小点?这个结论依赖的不是图像看起来 像碗,而是一条能同时约束任意两点的弦不等式。

探索与猜想

考察

\[ f(x)=e^x-x. \]

导数 \(f'(x)=e^x-1\) 只在 \(x=0\) 为零,二阶导数 \(f''(x)=e^x>0\)。第 17.1 单元的一阶判别说明 \(0\) 是局部极小点。要把“局部”升级为“整体”,可以尝试证明 所有切线都位于图像下方。特别地,原点处切线是常数 \(1\),若能证明

\[ e^x-x\ge1\qquad(x\in\mathbb R), \]

就同时得到整体最小值与一个经典指数不等式。

概念与理论

凸函数与严格凸函数

\(I\) 是区间。若对任意 \(x,y\in I\)\(t\in[0,1]\),都有

\[ f((1-t)x+ty)\le(1-t)f(x)+tf(y), \]

\(f\)\(I\) 上是凸函数。这就是弦不等式:图像上两点之间的弦线不低于 图像。

若对任意不同的 \(x,y\in I\)\(t\in(0,1)\),不等式严格成立,则称 \(f\)严格凸函数

仿射函数 \(f(x)=ax+b\) 的弦不等式处处取等号,所以它凸但不严格凸。严格凸性描述的 不是“二阶导数每一点都严格为正”这一种形式,而是任意非平凡弦段都严格高于内部图像。

割线斜率的有序性

\(x<z<y\),由凸性定义分别把 \(z\) 写成 \(x,y\) 的凸组合,可得

\[ \frac{f(z)-f(x)}{z-x} \le \frac{f(y)-f(x)}{y-x} \le \frac{f(y)-f(z)}{y-z}. \]

这组三点斜率不等式说明:沿凸函数向右移动时,割线斜率只能上升。它是弦定义通向 导数判据的桥梁。

支撑线不等式

定理。\(f\) 在区间 \(I\) 上凸,并在内点 \(a\) 可导,则对所有 \(x\in I\)

\[ f(x)\ge f(a)+f'(a)(x-a). \]

也就是说,\(a\) 处切线是图像的一条支撑线。

证明。 先设 \(x>a\)。对 \(0<t<1\),点

\[ a+t(x-a) \]

位于 \(a,x\) 之间。弦不等式给出

\[ f(a+t(x-a))\le(1-t)f(a)+tf(x). \]

移项并除以正数 \(t(x-a)\)

\[ \frac{f(a+t(x-a))-f(a)}{t(x-a)} \le \frac{f(x)-f(a)}{x-a}. \]

\(t\to0^+\),左边趋于 \(f'(a)\),于是

\[ f'(a)\le\frac{f(x)-f(a)}{x-a}. \]

乘以 \(x-a>0\) 即得结论。若 \(x<a\),使用左侧差商并注意负分母使不等号方向转换, 得到同一支撑线不等式。证毕。

凸性与导数单调性的等价

定理。\(I\) 是开区间,\(f\)\(I\) 上可微。则 \(f\)\(I\) 上凸, 当且仅当 \(f'\)\(I\) 上单调不减。若 \(I\) 含有一个或两个端点,则还要求 \(f\) 在相应端点连续,结论才延伸到整个 \(I\)

证明。

先设 \(f\) 凸。对内部点 \(x<y\),三点割线不等式取左右极限得到

\[ f'(x) \le \frac{f(y)-f(x)}{y-x} \le f'(y). \]

所以 \(f'\) 单调不减。

反过来,设 \(f'\) 单调不减。固定内部点 \(a\)。若 \(x>a\),由 Lagrange 中值定理, 存在 \(\xi\in(a,x)\) 使

\[ f(x)-f(a)=f'(\xi)(x-a)\ge f'(a)(x-a). \]

\(x<a\),同样应用中值定理,并结合 \(f'(\xi)\le f'(a)\)\(x-a<0\),仍得到

\[ f(x)\ge f(a)+f'(a)(x-a). \]

因此每个内部点都有支撑线。取 \(z=(1-t)x+ty\),分别把支撑线不等式用于 \(x,y\)

\[ f(x)\ge f(z)+f'(z)(x-z),\qquad f(y)\ge f(z)+f'(z)(y-z). \]

第一式乘 \(1-t\),第二式乘 \(t\) 后相加。因为

\[ (1-t)(x-z)+t(y-z)=0, \]

导数项抵消,得到

\[ (1-t)f(x)+tf(y)\ge f(z). \]

这正是开区间上的弦不等式。若区间含端点,利用已经假设的端点连续性从内部逼近, 即可得到端点参与时的弦不等式。证毕。

二阶导数判据

\(f\) 在开区间上二阶可导,则

\[ f\text{ 凸} \quad\Longleftrightarrow\quad f''(x)\ge0 \]

在所有内部点成立。对含端点的区间,仍需在端点补充连续性。

事实上,\(f''\ge0\) 由第 15.2 单元的单调性定理推出 \(f'\) 单调不减;反过来,凸性 推出 \(f'\) 单调不减,而一个单调不减函数在可导点的导数不能为负。

\(f''>0\) 处处成立,则 \(f'\) 严格递增,从而 \(f\) 严格凸。但这只是充分条件, 不是必要条件;\(x^4\) 严格凸,而 \(f''(0)=0\)

严格凸性与唯一极小点

定理。

  1. 严格凸函数在一个凸区间上至多有一个整体极小点;
  2. 若可微凸函数在内点 \(x_*\) 满足 \(f'(x_*)=0\),则 \(x_*\) 是整体极小点;
  3. 若函数进一步严格凸,则该整体极小点唯一。

证明。 若不同的 \(x_1,x_2\) 都是整体极小点,最小值为 \(m\),严格弦不等式在 中点给出

\[ f\left(\frac{x_1+x_2}{2}\right) < \frac{f(x_1)+f(x_2)}2 =m, \]

\(m\) 是最小值矛盾,所以至多有一个。

\(f'(x_*)=0\),支撑线不等式给出

\[ f(x)\ge f(x_*)+f'(x_*)(x-x_*)=f(x_*) \]

对所有 \(x\) 成立,所以 \(x_*\) 是整体极小点。严格凸时再用第一部分得到唯一性。 证毕。

注意:严格凸性只给出“至多有一个”,不保证极小点存在。存在性需要额外来源,例如 连续函数在紧区间上的最值定理、已经找到的驻点,或者已经证明的边界增长行为。

例题与迁移

例 1:\(e^x-x\) 的唯一整体最小值

\[ f(x)=e^x-x. \]

因为 \(f''(x)=e^x>0\),所以 \(f\)\(\mathbb R\) 上严格凸。又

\[ f'(x)=e^x-1 \]

只在 \(x=0\) 为零。由支撑线定理,\(0\) 是唯一整体极小点,最小值为

\[ f(0)=1. \]

原点处支撑线正是 \(y=1\),所以同时得到

\[ e^x-x\ge1, \]

等价地,

\[ e^x\ge1+x. \]

等号仅在 \(x=0\) 成立。

例 2:严格凸不要求二阶导数处处为正

\(f(x)=x^4\),有

\[ f'(x)=4x^3. \]

函数 \(4x^3\)\(\mathbb R\) 上严格递增,所以由导数判据,\(x^4\) 严格凸。虽然

\[ f''(0)=0, \]

任意非平凡弦段仍严格位于图像上方。驻点 \(0\) 因而是唯一整体极小点。

这个例子说明“\(f''>0\) 处处”是方便的充分条件,不是严格凸的必要条件。

即时检验与回望

即时检验 1

仿射函数 \(f(x)=2x+1\) 是否凸、是否严格凸?它在 \(\mathbb R\) 上有整体极小点吗?

答案

对任意 \(x,y,t\)

\[ f((1-t)x+ty)=(1-t)f(x)+tf(y), \]

所以函数凸,但弦不等式从不严格,因而不严格凸。函数在 \(\mathbb R\) 上无下界, 没有整体极小点。

即时检验 2

\(f(x)=e^x\)\(\mathbb R\) 上严格凸。它是否取得整体最小值?

答案

不取得。虽然 \(f''(x)=e^x>0\),但 \(e^x>0\) 对所有实数成立,且当 \(x\to-\infty\)\(e^x\to0\)。下确界为 \(0\),却没有任何实数点使 \(e^x=0\)。这直接说明严格凸不保证极小点存在。

回望:凸性把每条切线变成全局下界。驻点处切线是水平线,于是局部的一阶条件立即 变成全局最优性条件;严格凸性再排除第二个最优点。

习题与答案

习题 1:二次函数的全局最小值

\(a>0\)。不用配方法,只用凸性求

\[ f(x)=ax^2+bx+c \]

的唯一整体极小点和最小值。

答案

\(f''(x)=2a>0\),所以 \(f\) 严格凸。驻点由

\[ f'(x)=2ax+b=0 \]

\[ x_*=-\frac{b}{2a}. \]

它是唯一整体极小点。代入得最小值

\[ f(x_*)=c-\frac{b^2}{4a}. \]

习题 2:严格凸但没有极小点

证明 \(f(x)=-\log x\)\((0,\infty)\) 上严格凸,却没有整体极小点。

答案
\[ f''(x)=\frac1{x^2}>0, \]

所以 \(f\) 严格凸。但当 \(x\to\infty\) 时,\(-\log x\to-\infty\),函数甚至 没有下界,因此没有整体极小点。

习题 3:由支撑线得到不等式

利用 \(-\log x\)\(x=1\) 处的支撑线证明

\[ \log x\le x-1\qquad(x>0). \]
答案

\(f(x)=-\log x\),有 \(f(1)=0\)\(f'(1)=-1\)。支撑线不等式给出

\[ -\log x\ge -(x-1). \]

两边乘 \(-1\) 并反向,得到

\[ \log x\le x-1. \]

习题 4:不可微凸函数

直接用三角不等式证明 \(f(x)=|x|\) 是凸函数。为什么本页的可微导数判据不能直接 覆盖原点?

答案

\(t\in[0,1]\)

\[ |(1-t)x+ty| \le |(1-t)x|+|ty| =(1-t)|x|+t|y|. \]

所以 \(|x|\) 凸。它在原点不可导,因此“可微函数凸当且仅当导数单调不减”的 定理不能原样在整个实线上应用;弦定义仍然有效。

习题 5:二阶导数某处为正仍不够

\([-1,1]\) 上定义

\[ f(x)= \begin{cases} 0,&x\le0,\\ x^4,&x>0. \end{cases} \]

证明 \(f''\ge0\) 且在某些点严格为正,但 \(f\) 不是严格凸函数。

答案

\(x<0\)\(f''=0\),在 \(x>0\)\(f''=12x^2>0\)。在原点左右的一、二阶 导数都衔接为 \(0\),所以 \(f\) 二阶可导且 \(f''\ge0\),从而凸。

但在区间 \([-1,0]\) 上函数恒为 \(0\)。取不同的 \(x,y\in[-1,0]\),弦不等式 处处取等号,因此函数在整个 \([-1,1]\) 上不严格凸。这说明“\(f''\) 至少某处 为正”不能替代严格凸的定义。

常见误区与后续

  • 把图像像碗当作定义: 正式定义是对任意两点成立的弦不等式。
  • \(f''>0\) 当成必要条件: \(x^4\) 在原点提供反例。
  • 把严格凸写成必有唯一极小点: 严格凸只保证至多一个;存在性必须另证。
  • 忽略定义域是不是区间: 弦上的凸组合必须仍留在定义域内。
  • 把数值采样当作凸性证明: 有限点检查无法覆盖所有 \(x,y,t\)

下一单元把支撑线和切线交点用于 Newton 方法。凸性将帮助建立一种强条件下的单调 收敛定理,但纯 Newton 仍可能因初值、导数过小或重根而失败。