二次模型怎样支持误差界和敏感性分析?¶
先备知识¶
掌握 Hessian、多元 Taylor 公式、算子范数和局部条件数。
学习目标¶
- 构造并解释二次模型;2. 用导数上界给出理论误差界;
- 把局部敏感性结论限制在已证明的邻域内。
牵引问题¶
线性化忽略了曲率。加入 Hessian 后能改善多少,又怎样防止把局部二次近似误当成 全局真相?
探索与猜想¶
在基点 \(a\) 附近,令
它是 \(f(a+h)\) 的二次模型。常数项定位,一次项给斜率,二次项描述斜率的局部变化。
概念与理论¶
模型与余项分离¶
二阶 Taylor 公式写成
模型 \(q_a\) 可直接计算;可信度由余项控制。若线段上 \(\|D^3f(x)\|\le M\),则有理论误差界
没有经证明的 \(M\),有限采样所得最大值只能是经验观察,不能称为证书。
一阶与二阶敏感性¶
输入扰动 \(h\) 很小时,
\(\|Df(a)\|\) 控制一阶放大,\(\|D^2f(a)\|\|h\|/2\) 描述随扰动尺度出现的二阶修正。 这是一种局部敏感性分析:它回答输出如何响应输入扰动,不评价某个数值算法是否稳定。
可信半径¶
若要求二次模型误差不超过 \(\tau\),由三阶导数界可选
还必须与定义域内可用邻域半径取较小者。这个半径是充分保证,不必是最大可用半径。
本单元不作极值判定。即便 Hessian 在基点具有某种符号,也要到第 32 章结合 驻点条件、余项控制和定义域讨论后才形成极值定理。
例题与迁移¶
例 1:乘积扰动¶
\(f(x,y)=xy\) 在 \(a=(1,2)\):
因为函数本身是二次多项式,余项恒为零。
例 2:指数模型的可信半径¶
对 \(f(x,y)=e^{x+y}\) 在原点建模。若 \(|h_1|+|h_2|\le r\),沿线段的三阶方向导数 可由 \(e^r(|h_1|+|h_2|)^3\) 控制,故可用目标容差反解允许扰动尺度。
即时检验与回望¶
即时检验 1¶
采样一百个点观察到三阶导数不超过 \(5\),能否直接把 \(M=5\) 当理论误差界?
答案
不能;有限采样没有覆盖连续区域,需要解析证明或另一个可靠证书。
即时检验 2¶
二次模型误差阶为 \(O(\|h\|^3)\) 是否说明任意远处都准确?
答案
不说明;这是局部陈述,且常数与定义域条件必须在指定邻域成立。
常见误区与后续¶
- 模型值和误差界要同时报告。
- 问题敏感性与算法稳定性是不同问题。
- 二次项改善局部近似,但不保证全局形状。
- Hessian 的极值用途留到第 32 章。
习题与答案¶
习题 1¶
写出一般实值函数在 \(a\) 的二次模型。
答案
\(q_a(h)=f(a)+\nabla f(a)^\mathsf Th+\frac12h^\mathsf TH_f(a)h\)。
习题 2¶
若 \(M=12,\|h\|=0.1\),三阶 Lagrange 界是多少?
答案
\(12(0.1)^3/6=0.002\)。
习题 3¶
若希望误差不超过 \(\tau\),从 \(M\) 得到的半径是什么?
答案
\((6\tau/M)^{1/3}\),并需与定义域允许半径取较小值。
习题 4¶
为什么 \(M\) 必须控制整条相关线段?
答案
Lagrange 或积分余项在基点与终点之间的点取高阶导数。
习题 5¶
对线性函数,二次模型的余项如何?
答案
恒为零,因为二阶及更高阶导数均为零。
习题 6¶
对二次多项式,二次模型是否精确?
答案
是,在任意基点都精确,三阶导数为零。
习题 7¶
\(\|Df(a)\|\) 描述哪种局部信息?
答案
一阶输入扰动到输出扰动的最大线性放大。
习题 8¶
\(\|D^2f(a)\|\) 在扰动分析中扮演什么角色?
答案
控制一阶敏感性随基点或扰动变化的二阶修正规模。
习题 9¶
为什么有限差分吻合不能证明三阶导数界?
答案
数值吻合只检查有限点和有限步长,不能覆盖连续邻域或排除未采样峰值。
习题 10¶
给出二次模型报告至少应包含的三项信息。
答案
基点与范数、模型公式、适用邻域及余项界的来源。
习题 11¶
本章为什么不由 Hessian 直接判断极值?
答案
极值定理还要结合驻点、定义域和余项符号控制,这些统一留到第 32 章。
延伸 1:缩放¶
变量量纲差异会同时改变梯度、Hessian 的矩阵数值和范数。比较模型前先统一尺度。
答案
这是建模检查:缩放不会改变物理问题,却会改变坐标表示和数值条件。
延伸 2:经验界¶
若只能通过采样估计 \(M\),报告应怎样措辞?
讨论
称为经验误差估计,并明确采样区域与密度,不称为严格证书。
延伸 3:向量值模型¶
向量值函数的二次模型怎样组织?
讨论
每个输出分量各有一个 Hessian,或等价地使用向量值双线性映射 \(D^2F(a)\)。