Hessian 怎样给出二阶必要与充分条件?¶
先备知识¶
掌握 Hessian、Taylor 二次模型、对称矩阵正定性与驻点。
学习目标¶
- 分清二阶必要条件和二阶充分条件;2. 分类非退化驻点;3. 处理半正定退化情形。
牵引问题¶
Hessian 的符号何时能定案,何时只能说“信息不足”?
探索与猜想¶
在驻点 \(a\),Taylor 公式的线性项消失:
若二次型在所有非零方向严格同号,它压倒余项;若某些方向为零,余项可能决定结论。
概念与理论¶
二阶必要条件¶
若 \(f\) 在内点 \(a\) 二次可微且 \(a\) 为局部最小点,则
即 Hessian 半正定。对局部最大点则半负定。证明沿每条直线应用一元二阶必要条件。
二阶充分条件¶
若 \(\nabla f(a)=0\),且 Hessian 正定,则 \(a\) 是严格局部最小点;负定则为严格局部 最大点。正定性在单位球面紧集上给 \(h^\mathsf THh\ge m\|h\|^2\)(\(m>0\)),而 Peano 余项最终小于 \(m\|h\|^2/4\)。这才闭合充分性证明。
若 Hessian 不定,存在正负方向,驻点为鞍点。若仅半正定或半负定,则 半正定不能判定:高阶项可能产生最小、最大或鞍点。
例题与迁移¶
例 1:非退化极小¶
\(f=x^2+2y^2\) 的原点梯度为零,Hessian 为 \(\operatorname{diag}(2,4)\) 正定, 故原点为严格局部最小点。
例 2:同一零 Hessian,不同结论¶
\(x^4+y^4\) 在原点为严格最小;\(x^4-y^4\) 在原点为鞍点。二者原点 Hessian 都为零, 展示了“半正定不能判定”。
即时检验与回望¶
即时检验 1¶
局部最小点的 Hessian 必须正定吗?
答案
不必,只能推出半正定;例如 \(x^4\) 在原点 Hessian 为零。
即时检验 2¶
Hessian 不定时为什么是鞍点?
答案
存在二次型取正和取负的方向,二次项在足够小时压倒余项。
常见误区与后续¶
- 使用 Hessian 前先验证驻点条件。
- 正定是充分条件,半正定通常不够。
- 二阶判别是局部结论,不自动给全局最优。
习题与答案¶
习题 1¶
分类 \(x^2+y^2\) 的原点。
答案
Hessian 正定,严格局部且全局最小。
习题 2¶
分类 \(x^2-y^2\) 的原点。
答案
Hessian 不定,为鞍点。
习题 3¶
分类 \(-x^2-3y^2\) 的原点。
答案
Hessian 负定,为严格局部最大点。
习题 4¶
\(x^4+y^4\) 为什么不能靠 Hessian 定案?
答案
原点 Hessian 为零,仅半正定;需直接看四次项。
习题 5¶
局部最小点为何推出每个方向二阶导数非负?
答案
沿该方向的一元限制在零点有局部最小。
习题 6¶
二维对称矩阵正定的常用判据是什么?
答案
首个顺序主子式为正且行列式为正。
习题 7¶
正定 Hessian 是否证明全局最小?
答案
只证明基点为严格局部最小;全局性需额外条件。
习题 8¶
为何充分性证明需要余项控制?
答案
要证明小邻域中二次正项不会被未知高阶误差翻转。
习题 9¶
\(x^2\) 在二维中视为 \(f(x,y)=x^2\),原点 Hessian 能否判定严格极小?
答案
不能,Hessian 半正定且沿 \(y\) 方向函数不变,原点不是严格极小。
习题 10¶
给出零 Hessian 但为鞍点的例子。
答案
\(f(x,y)=x^4-y^4\) 在原点。