跳转至

二次模型怎样支持误差界和敏感性分析?

先备知识

掌握 Hessian、多元 Taylor 公式、算子范数和局部条件数。

学习目标

  1. 构造并解释二次模型;2. 用导数上界给出理论误差界;
  2. 把局部敏感性结论限制在已证明的邻域内。

牵引问题

线性化忽略了曲率。加入 Hessian 后能改善多少,又怎样防止把局部二次近似误当成 全局真相?

探索与猜想

在基点 \(a\) 附近,令

\[ q_a(h)=f(a)+Df(a)h+\frac12D^2f(a)[h,h]. \]

它是 \(f(a+h)\) 的二次模型。常数项定位,一次项给斜率,二次项描述斜率的局部变化。

概念与理论

模型与余项分离

二阶 Taylor 公式写成

\[ f(a+h)=q_a(h)+R_2(a,h). \]

模型 \(q_a\) 可直接计算;可信度由余项控制。若线段上 \(\|D^3f(x)\|\le M\),则有理论误差界

\[ \|R_2(a,h)\|\le \frac{M}{6}\|h\|^3. \]

没有经证明的 \(M\),有限采样所得最大值只能是经验观察,不能称为证书。

一阶与二阶敏感性

输入扰动 \(h\) 很小时,

\[ \Delta f=Df(a)h+\frac12D^2f(a)[h,h]+R_2. \]

\(\|Df(a)\|\) 控制一阶放大,\(\|D^2f(a)\|\|h\|/2\) 描述随扰动尺度出现的二阶修正。 这是一种局部敏感性分析:它回答输出如何响应输入扰动,不评价某个数值算法是否稳定。

可信半径

若要求二次模型误差不超过 \(\tau\),由三阶导数界可选

\[ \|h\|\le \left(\frac{6\tau}{M}\right)^{1/3}. \]

还必须与定义域内可用邻域半径取较小者。这个半径是充分保证,不必是最大可用半径。

本单元不作极值判定。即便 Hessian 在基点具有某种符号,也要到第 32 章结合 驻点条件、余项控制和定义域讨论后才形成极值定理。

例题与迁移

例 1:乘积扰动

\(f(x,y)=xy\)\(a=(1,2)\)

\[ q_a(h)=2+2h_1+h_2+h_1h_2. \]

因为函数本身是二次多项式,余项恒为零。

例 2:指数模型的可信半径

\(f(x,y)=e^{x+y}\) 在原点建模。若 \(|h_1|+|h_2|\le r\),沿线段的三阶方向导数 可由 \(e^r(|h_1|+|h_2|)^3\) 控制,故可用目标容差反解允许扰动尺度。

即时检验与回望

即时检验 1

采样一百个点观察到三阶导数不超过 \(5\),能否直接把 \(M=5\) 当理论误差界?

答案

不能;有限采样没有覆盖连续区域,需要解析证明或另一个可靠证书。

即时检验 2

二次模型误差阶为 \(O(\|h\|^3)\) 是否说明任意远处都准确?

答案

不说明;这是局部陈述,且常数与定义域条件必须在指定邻域成立。

常见误区与后续

  • 模型值和误差界要同时报告。
  • 问题敏感性与算法稳定性是不同问题。
  • 二次项改善局部近似,但不保证全局形状。
  • Hessian 的极值用途留到第 32 章。

习题与答案

习题 1

写出一般实值函数在 \(a\) 的二次模型。

答案

\(q_a(h)=f(a)+\nabla f(a)^\mathsf Th+\frac12h^\mathsf TH_f(a)h\)

习题 2

\(M=12,\|h\|=0.1\),三阶 Lagrange 界是多少?

答案

\(12(0.1)^3/6=0.002\)

习题 3

若希望误差不超过 \(\tau\),从 \(M\) 得到的半径是什么?

答案

\((6\tau/M)^{1/3}\),并需与定义域允许半径取较小值。

习题 4

为什么 \(M\) 必须控制整条相关线段?

答案

Lagrange 或积分余项在基点与终点之间的点取高阶导数。

习题 5

对线性函数,二次模型的余项如何?

答案

恒为零,因为二阶及更高阶导数均为零。

习题 6

对二次多项式,二次模型是否精确?

答案

是,在任意基点都精确,三阶导数为零。

习题 7

\(\|Df(a)\|\) 描述哪种局部信息?

答案

一阶输入扰动到输出扰动的最大线性放大。

习题 8

\(\|D^2f(a)\|\) 在扰动分析中扮演什么角色?

答案

控制一阶敏感性随基点或扰动变化的二阶修正规模。

习题 9

为什么有限差分吻合不能证明三阶导数界?

答案

数值吻合只检查有限点和有限步长,不能覆盖连续邻域或排除未采样峰值。

习题 10

给出二次模型报告至少应包含的三项信息。

答案

基点与范数、模型公式、适用邻域及余项界的来源。

习题 11

本章为什么不由 Hessian 直接判断极值?

答案

极值定理还要结合驻点、定义域和余项符号控制,这些统一留到第 32 章。

延伸 1:缩放

变量量纲差异会同时改变梯度、Hessian 的矩阵数值和范数。比较模型前先统一尺度。

答案

这是建模检查:缩放不会改变物理问题,却会改变坐标表示和数值条件。

延伸 2:经验界

若只能通过采样估计 \(M\),报告应怎样措辞?

讨论

称为经验误差估计,并明确采样区域与密度,不称为严格证书。

延伸 3:向量值模型

向量值函数的二次模型怎样组织?

讨论

每个输出分量各有一个 Hessian,或等价地使用向量值双线性映射 \(D^2F(a)\)