跳转至

Hessian 怎样给出二阶必要与充分条件?

先备知识

掌握 Hessian、Taylor 二次模型、对称矩阵正定性与驻点。

学习目标

  1. 分清二阶必要条件和二阶充分条件;2. 分类非退化驻点;3. 处理半正定退化情形。

牵引问题

Hessian 的符号何时能定案,何时只能说“信息不足”?

探索与猜想

在驻点 \(a\),Taylor 公式的线性项消失:

\[ f(a+h)-f(a)=\frac12h^\mathsf TH_f(a)h+o(\|h\|^2). \]

若二次型在所有非零方向严格同号,它压倒余项;若某些方向为零,余项可能决定结论。

概念与理论

二阶必要条件

\(f\) 在内点 \(a\) 二次可微且 \(a\) 为局部最小点,则

\[ \nabla f(a)=0,\qquad h^\mathsf TH_f(a)h\ge0\quad\text{对所有 }h. \]

即 Hessian 半正定。对局部最大点则半负定。证明沿每条直线应用一元二阶必要条件。

二阶充分条件

\(\nabla f(a)=0\),且 Hessian 正定,则 \(a\) 是严格局部最小点;负定则为严格局部 最大点。正定性在单位球面紧集上给 \(h^\mathsf THh\ge m\|h\|^2\)\(m>0\)),而 Peano 余项最终小于 \(m\|h\|^2/4\)。这才闭合充分性证明。

若 Hessian 不定,存在正负方向,驻点为鞍点。若仅半正定或半负定,则 半正定不能判定:高阶项可能产生最小、最大或鞍点。

例题与迁移

例 1:非退化极小

\(f=x^2+2y^2\) 的原点梯度为零,Hessian 为 \(\operatorname{diag}(2,4)\) 正定, 故原点为严格局部最小点。

例 2:同一零 Hessian,不同结论

\(x^4+y^4\) 在原点为严格最小;\(x^4-y^4\) 在原点为鞍点。二者原点 Hessian 都为零, 展示了“半正定不能判定”。

即时检验与回望

即时检验 1

局部最小点的 Hessian 必须正定吗?

答案

不必,只能推出半正定;例如 \(x^4\) 在原点 Hessian 为零。

即时检验 2

Hessian 不定时为什么是鞍点?

答案

存在二次型取正和取负的方向,二次项在足够小时压倒余项。

常见误区与后续

  • 使用 Hessian 前先验证驻点条件。
  • 正定是充分条件,半正定通常不够。
  • 二阶判别是局部结论,不自动给全局最优。

习题与答案

习题 1

分类 \(x^2+y^2\) 的原点。

答案

Hessian 正定,严格局部且全局最小。

习题 2

分类 \(x^2-y^2\) 的原点。

答案

Hessian 不定,为鞍点。

习题 3

分类 \(-x^2-3y^2\) 的原点。

答案

Hessian 负定,为严格局部最大点。

习题 4

\(x^4+y^4\) 为什么不能靠 Hessian 定案?

答案

原点 Hessian 为零,仅半正定;需直接看四次项。

习题 5

局部最小点为何推出每个方向二阶导数非负?

答案

沿该方向的一元限制在零点有局部最小。

习题 6

二维对称矩阵正定的常用判据是什么?

答案

首个顺序主子式为正且行列式为正。

习题 7

正定 Hessian 是否证明全局最小?

答案

只证明基点为严格局部最小;全局性需额外条件。

习题 8

为何充分性证明需要余项控制?

答案

要证明小邻域中二次正项不会被未知高阶误差翻转。

习题 9

\(x^2\) 在二维中视为 \(f(x,y)=x^2\),原点 Hessian 能否判定严格极小?

答案

不能,Hessian 半正定且沿 \(y\) 方向函数不变,原点不是严格极小。

习题 10

给出零 Hessian 但为鞍点的例子。

答案

\(f(x,y)=x^4-y^4\) 在原点。