返回分节阅读
第二十九章：当小概率变成指数级的小概率——Large deviations
一枚公平硬币连续抛掷n次，全部为正面的概率是2⁻ⁿ。这件事离正面数的平均值有n/2那么远。中心极限定理把平均值附近的宽度辨认为平方根n，却没有告诉我们，能否把那条钟形曲线一路延伸到“全部正面”。
如果真把局部Gaussian二次指数推到这个位置，得到的指数代价是n/2；硬币的精确答案却是n乘log 2。两者都很小，而且都指数衰减，但它们的比值仍会指数地增大或减小。对于极罕见的事件，“大概很小”远远不够。
29.1 钟形曲线没有承诺到达那里
令Bᵢ为独立同分布Bernoulli变量，正面概率0<p<1，以 \overline B_n=n^{-1}\sum_{i=1}^n B_i 记正面频率。讨论可能频率范围内的向上偏离时，取0<a<1−p；边界a=1−p恰为全部正面，概率是pⁿ，而a>1−p时事件为空。中心极限定理固定的是标准化变量的有限区间；上述内部范围中的固定偏离，却把标准化门槛推到无穷。弱收敛不能控制随n远去的这些集合。
\frac{\sqrt n(\overline B_n-p)}{\sqrt{p(1-p)}}\Rightarrow N(0,1),\qquad \{\overline B_n\ge p+a\}=\left\{\frac{\sqrt n(\overline B_n-p)}{\sqrt{p(1-p)}}\ge\frac{a\sqrt n}{\sqrt{p(1-p)}}\right\}.这不是CLT不够精确的一点小误差，而是问题已经换了尺度。我们现在固定宏观偏离，增加实验次数，问维持这种偏离究竟要付出多大的概率代价。一个例子里能直接计数，先从这个例子读出正确的量。
29.2 一群不典型的硬币，需要多少代价
取0<p<1，正面数k，q=k/n。其概率是选择这些正面位置的组合数，乘以每条记录的概率。积分比较给log(n!)=n log n−n+O(log(n+1))；对k!与(n−k)!同样使用，连k=0或n也按0 log 0=0处理，得到一致的对数误差。
\begin{aligned}\log P\{\overline B_n=q\}&=-nD(q\Vert p)+O(\log(n+1)),\\D(q\Vert p)&=q\log\frac qp+(1-q)\log\frac{1-q}{1-p},\qquad0\le q\le1.\end{aligned}组合数奖励能以许多不同次序实现的频率，原概率则惩罚偏离p的记录；两者相减才是净代价。不能只把每一条全正面记录的概率照搬到所有频率上。对一个频率区间，最多n+1项的总和，在除以n的对数尺度上由最便宜的一项决定；用落在区间内部的k/n逼近又给相应下界。
D在q=p处为0，二阶Taylor给附近的Gaussian代价，却在远处保持自己的非二次形状。公平硬币的q=1代价正是log 2。Gaussian理论与这份代价在局部相接，不能相互取代。
D(p+a\Vert p)=\frac{a^2}{2p(1-p)}+o(a^2)\quad(a\to0),\qquad D(1\Vert1/2)=\log2.29.3 为什么对数使最便宜的方式留下来
独立代价相乘，取对数后相加；若实验规模重复n倍，对数代价也常增长n倍。于是我们研究概率对数除以一个趋于无穷的速度aₙ。指数尺度还把有限种替代方案的总概率变成最大者的尺度。
\max_{i\le r}b_{n,i}\le\sum_{i=1}^r b_{n,i}\le r\max_{i\le r}b_{n,i},\qquad a_n^{-1}\log r\longrightarrow0.不能要求每一个事件都有同样形式的极限。连续分布给单点概率0，但靠近那个点的概率并非没有有限指数代价；边界也可能恰好切穿可达到的记录。大偏差原理用开集下界、闭集上界保留这个区别。
设Zₙ在度量空间S取值。下半连续函数I:S→[0,∞]称为速率函数。称Zₙ满足速度aₙ、速率I的LDP，若每个开G和闭F满足下式。约定log 0=−∞、空集下确界为无穷。
-\inf_G I\le\liminf_n\frac1{a_n}\log P(Z_n\in G),\qquad \limsup_n\frac1{a_n}\log P(Z_n\in F)\le-\inf_F I.对Borel事件A，把内部与闭包夹住；若两者的最小代价相同，就得到真正的对数极限。I不是概率密度，它记录小邻域在指定尺度上的代价；换尺度或换拓扑，答案可能改变。
29.4 为什么速率函数还需要“好”
寻找最便宜的偏离时，极小化记录可能不断逃到远处，留下没有实际实现的代价。若每个有限代价水平集都紧，就不能这样逃走。这称为好速率函数。
\{x:I(x)\le L\}\text{ is compact for every finite }L.好性是关于代价几何的条件，不等同于随机变量的普通紧性。它让一列代价有界的近似最优记录提取收敛子列；下半连续性再保住极限代价。后面收缩、闭集邻域极限和路径能量都要用到这个机制。
29.5 普通紧性看不见指数尺度上的逃逸
令Zₙ以1−1/n概率为0，以1/n概率为n。它依概率趋于0，分布族也紧，但任何固定紧集外的概率仍可能只是1/n。其对数除以n趋于0，而不是任意大的负数。
指数紧性要求：对每个L>0，都能找到紧集Kᴸ，使逃出概率在相应速度上的上指数不超过−L。普通紧性只要求概率小；这里要求它以我们正在研究的尺度足够快地小。
\limsup_n a_n^{-1}\log P(Z_n\notin K^L)\le-L.这是从局部走向整体所缺的控制。若已知开下界及紧集上界，闭F分成F∩Kᴸ和紧集外两部分。有限和的指数取最大，得到上界不超过max{−inf_F I,−L}；再L趋无穷，就是闭集上界。不能从普通紧性完成这一步。
29.6 观察方式改变，代价怎样改变
如果已经知道完整记录的代价，只读其中一个连续统计量Φ，那么同一个读数可由许多记录产生。读数y的代价应取所有实现它的记录中最小者。这是收缩原理。
J(y)=\inf\{I(x):\Phi(x)=y\}.设I好。非空纤维上若代价下确界有限，取近似最优列，在一个I水平集提取极限，连续性保住纤维、下半连续保住代价，所以最小值取得。因此J的L水平集恰是I的L水平集的连续像，紧。开闭集的原像分别开闭，直接用LDP即可证明Φ(Zₙ)的上下界。
连续性是数学内容。若Zₙ是方差1/n的正态变量，Φ(x)=1当且仅当x=0，否则为0，则Φ(Zₙ)恒为0；按形式纤维公式，y=1却有代价I(0)=0，开下界失败。单点的微小不连续足以让形式收缩给出错误答案。
29.7 让罕见的样本在另一份概率下变得典型
硬币偏离p而接近q时，按q为正面概率观察，这些记录原本就很典型。我们能在新概率下使用大数定律，再把记录的权重换回来。一般随机向量也能这样做：乘上指数线性权重，并除以正规化常数。
\Lambda(\theta)=\log\int e^{\langle\theta,x\rangle}\mu(dx),\qquad \mu_\theta(dx)=e^{\langle\theta,x\rangle-\Lambda(\theta)}\mu(dx)\quad(\Lambda(\theta)<\infty).有限样本的原权重与新权重相差一个由样本均值决定的指数。若倾斜使均值等于想研究的x，原来罕见的邻域在新概率下趋于概率1，代价便是θ·x−Λ(θ)。Chernoff上界从相反方向给出同一个表达式：这个倾斜不是单纯的计算技巧，而是上界与下界相遇的位置。
Cramér在1938年发表了关于和的偏离的论文；这里采用的有限维与熵方法是现代重建，不声称复现其原始论证顺序。更重要的证明困难是：并非每个x都能由某个倾斜均值实现。若只证能够匹配参数的点，就没有完成一般定理。
29.8 改用一份分布，需要付出多少信息代价
为了不被单一指数族困住，允许用任意新分布ν，使其平均值接近目标。若ν对μ绝对连续，密度ρ记录每个样本被重新加权多少。在ν的典型样本里，每项对数权重的平均趋于下式；n项独立记录因此付出n倍的代价。
H(\nu\mid\mu)=\int\rho\log\rho\,d\mu=\int\log\rho\,d\nu\quad(\nu\ll\mu),\qquad H(\nu\mid\mu)=\infty\quad(\nu\not\ll\mu).约定0 log 0=0。负部不造成无穷减无穷，因为r|log r|在0<r<1上不超过1/e。点态r log r−r+1≥0，积分给H≥0，并且只有ν=μ时为0。对数来自独立样本似然相乘，而不是人为选择一个距离；相对熵也不对称，不能误作普通度量。
对硬币，这恰好回到D(q∥p)。对一般均值，我们要在所有实现该均值的新分布中寻找最便宜的一个。但最便宜分布不一定存在，均值约束也不一定对弱极限封闭。因此证明会保留“附近均值”的闭包，而不偷偷假设一个最优倾斜总存在。
29.9 Cramér定理：从局部指数界到整个空间
设Xᵢ为Rᵈ中i.i.d.向量，母分布μ，Λ在0的某个开邻域有限。那么样本均值满足速度n的LDP，好速率函数是下式。退化在一个仿射子空间的分布也包括在内，不要求协方差非奇异。
I(x)=\Lambda^*(x)=\sup_{\theta\in\mathbb R^d}\{\langle\theta,x\rangle-\Lambda(\theta)\}.先证上界。固定x和有穷Λ(θ)，均值在x的δ球内时，θ·均值至少θ·x−|θ|δ。指数Markov与独立性给下式。选θ逼近I(x)，再用有限覆盖，得到每个紧集的上界；I(x)无穷时，选任意大的有限目标即可。
P\{\overline X_n\in B(x,\delta)\}\le\exp\{-n[\langle\theta,x\rangle-|\theta|\delta-\Lambda(\theta)]\}.0邻域指数矩负责把上界带到非紧闭集。取正η使±ηeⱼ的Λ都有限，联合坐标Chernoff给逃出大立方体的指数界。相同测试还证明I的水平集有界。I是连续仿射函数的上确界，因而下半连续，于是好性与指数紧性分别成立。
P(\|\overline X_n\|_\infty>R)\le2d\,e^{-n(\eta R-C)},\qquad I(x)\ge\eta\|x\|_\infty-C,\quad C=\max_{j,\pm}\Lambda(\pm\eta e_j).29.10 倾斜参数找不到时，下界仍然要成立
给ν有限一阶矩与有限熵，令其均值x在开G中。ν样本的大数定律使均值进入G；对数密度也可积，另一条大数定律使平均对数权重接近H。只在这个典型事件上恢复μ权重，就有开下界。
\mu^{\otimes n}(\overline X_n\in G)\ge e^{-n(H(\nu\mid\mu)+\delta)}\nu^{\otimes n}\!\left(\overline X_n\in G,\ \frac1n\sum_{i=1}^n\log\rho(X_i)\le H(\nu\mid\mu)+\delta\right).括号中的概率趋1。第一步是大于等于，不是总能写等号：ν可能在μ有质量的地方取零密度。这里只在有限乘积上换测度，没有建立两份无限样本测度之间通常不存在的密度。
J(x)=\inf\{H(\nu\mid\mu):\int|y|\nu(dy)<\infty,\ \int y\nu(dy)=x\}.于是开下界为−inf_G J。还须证明这与I相同。混合两份分布及r log r的凸性使J凸；它可能不闭。熵不等式给J的凸共轭不超过Λ；反方向把指数倾斜限制在大球内，得到有界样本和有限熵，正规化常数逐球趋向原矩母函数，证明J的共轭恰为Λ。
有限维闭凸上图的最近点分离，随后证明J的下半连续闭包等于Λ的凸共轭；不是引用一个尚未证明的变分原理。开集上的下确界不受这个闭包改变，因为近似均值最终仍在开集内。完整分离、截断及极限顺序见T-LDP。因此一般Cramér下界成立，包括倾斜不能实现的边界与退化情形。
29.11 正确边界不是“有一个Gaussian极限”
正态母分布的Λ是线性加二次，故I是偏离均值的二次代价；参数λ>0的Poisson母分布则给I(x)=x log(x/λ)−x+λ，x≥0，负半轴为无穷，0处取连续极限λ。它们同属平均偏离，却有不同的全局代价。母分布的完整指数读数，而不只是方差，决定了这里的答案。
有限方差不能替代指数矩。取非负Pareto变量，尾概率为x⁻ᵝ，x≥1，β>2。它满足有限方差CLT，但一个变量大于na已经足以使样本均值大于a。对a大于真实均值，下面的概率不具有严格正的n速度代价。
P(\overline X_n>a)\ge P(X_1>na)=(na)^{-\beta},\qquad \lim_{n\to\infty}\frac1n\log P(\overline X_n>a)=0.这里的下界与概率不超过1给最后等号。一次大跳就能实现偏离，迫使指数尺度失去区分力。若改取Xᵢ全等于同一个非退化Y，均值甚至一直等于Y；独立性也不能被“各自分布相同”代替。
即使指数矩存在，普通倾斜也不总能到达所有目标。例如密度正比于e⁻ˣ(1+x)⁻³，x≥0。参数θ只能到1，端点倾斜的密度是2(1+x)⁻³，均值为1；所有更大的目标都不在倾斜均值范围内。上一节闭包论证正是为这些点保住下界，而不是把它们排除在定理之外。
29.12 若偏离的不只是平均值，而是整份经验分布
平均值把大量记录压成一个数。两群样本可能平均相同，却分别集中在中心与两端。要讨论“样本看起来像另一种分布”，应保存每个观测各占1/n质量的经验测度，而不是继续为越来越多的统计量另起一个定理。
L_n=\frac1n\sum_{i=1}^n\delta_{X_i}\in\mathcal P(E).令E为Polish空间，母分布μ任意。采用第24章的弱拓扑：只读取所有有界连续函数的积分；每个基本邻域只约束有限个读数。Sanov定理说Lₙ满足速度n、好速率H(·|μ)的LDP。这不需要矩母函数，也不需要状态空间有限。
有限字母时，经验频率的多项式计数已经暗示这个答案：每种类型的对数概率是−n倍离散相对熵，加上对数级误差。无限空间没有有限种类型可供直接计数，真正需要的是把“可连续读取的所有局部证据”重新组织为熵。
29.13 熵为什么等于所有指数检验的最强结论
H(\nu\mid\mu)=\sup_{f\in C_b(E)}\left\{\int f\,d\nu-\log\int e^f\,d\mu\right\}.每个f给一项可检验的证据：若经验分布接近ν，其f平均应接近νf；指数Markov则用μ下的指数平均衡量这项证据有多罕见。右边取所有检验，说明熵不是外加的惩罚，而是全部有界连续证据共同给出的最强指数代价。
这个变分等式必须证明。先允许有界Borel检验：以eᶠ重新正规化μ，熵非负给不超过H的一向；把logρ截在[−M,M]再令M趋无穷，给反向。ν有μ零集上的质量时，用该集合指标乘M使上确界无穷。最后在有限测度μ+ν下以同界连续函数L¹逼近有界Borel函数，指数函数在固定有界区间Lipschitz，便能换成C_b。全部逼近及极限顺序见T-SANOV。
每项检验对弱拓扑连续，因此H下半连续。有限熵还限制了把质量搬到μ极罕见区域的能力。对p=μ(A)在0与1之间，取检验log(1/p)乘A的指标，得到尾部控制。
\nu(A)\le\frac{H(\nu\mid\mu)+\log2}{\log(1/\mu(A))}.μ的紧性使μ(K外)任意小，上式便使熵有界的ν共同紧。第24章Prokhorov与下半连续性给熵水平紧，从而证明这是好速率，不只证明它长得像一个代价。
29.14 Sanov的上下界，怎样在同一个代价相遇
固定ν及小于H(ν|μ)的数b，选一个连续检验使νf−log μeᶠ>b。这在ν的某个弱邻域仍成立，而独立性给下面的精确指数矩。指数Markov将该邻域概率界为e⁻ⁿᵇ；对紧集有限覆盖便得紧上界。
E_\mu e^{nL_nf}=\left(\int e^f\,d\mu\right)^n.对开G中的有限熵ν，用ν样本观察：有限个连续读数的大数定律把Lₙ带入G，平均logρ的大数定律控制换回μ的代价。与均值下界完全相同的有限乘积不等式给−H；对ν取下确界便得开下界。ν并不需要全支撑，不能把这一步写成两份无限样本测度等价。
还缺闭集上界。经验测度的普通紧性不能代替指数紧。给L>0，选δⱼ=2⁻ʲ及极小μ尾概率的紧集Kⱼ，令θⱼ=(L+j+1)/δⱼ且μ(Kⱼ外)≤e⁻ᶿʲ。要求所有经验尾质量不超过δⱼ，构成弱闭且共同紧的一组概率测度，故紧。Bernoulli尾计数的Chernoff界给第j条约束失败概率不超过e⁻ⁿ⁽ᴸ⁺ʲ⁾，无穷并界仍不超过e⁻ⁿᴸ。这个计算连nδⱼ小于1的尾端也覆盖。
闭集与这个紧集相交，再放走指数足够小的余项，完成全Sanov定理。参数选择、弱闭性和无穷和细节都在T-SANOV。其1957年原论文与这里的现代Polish空间证明组织须区分。
29.15 完整经验分布，也不能连续读出所有统计量
Sanov比均值理论保存更多信息，却不能直接以弱收缩推出任意无界均值的大偏差。取νₘ=(1−1/m)δ₀+(1/m)δₘ，它弱趋δ₀，均值却始终为1。少量质量逃到远处，在所有有界连续读数中逐渐消失，却仍携带全部均值。
Cramér的指数矩正是在控制这样的尾部贡献。本章分别证明均值定理与经验测度定理，而不把一个不连续统计量藏进收缩原理。如果改研究有界连续收益f，收缩则合法：其平均偏离代价是所有满足νf=y的分布中最小的熵。
29.16 所有有限时刻都正常，路径仍可能逃走
现在把一份经验记录换成一整条运动。有限维分布上的指数估计仍不够。令hₙ是[0,T]上一条确定性三角尖峰，顶点在T/(n+1)，高度1，支撑在该顶点两侧宽度各T/[3(n+1)]之内，端点外为0。对每个固定t，hₙ(t)最终为0。每个有限维记录遂满足只在零向量代价为0的平凡LDP。
但是这些路径在一致拓扑中没有收敛子列，确定性分布δhₙ不指数紧。集合{hₙ:n≥1}闭且远离零路径，概率永远为1；若照有限维读数给出的零路径速率写全路径上界，就得到错误的负无穷。问题不在于某个有限维计算算错，而在于它们共同漏掉了越来越窄的振荡。
第24章要求共同振荡控制才能得到弱路径极限。在大偏差尺度上，控制失败的概率还必须指数地足够小。这比把原紧性证明中的“小概率”原封不动带来更强。
29.17 把噪声缩小，读一条不典型的Brownian路径
固定T>0，令B为标准d维Brownian运动，研究√ε B，ε趋于0。典型路径一致趋于零，然而到达某条非零连续曲线附近并非不可能。我们在起点为0的连续路径空间使用一致范数。将此空间记为 \mathcal C_T，与第28章表示无穷远消失函数的C₀不同。
\mathcal C_T=\{h\in C([0,T];\mathbb R^d):h(0)=0\},\qquad X^\varepsilon=\sqrt\varepsilon B,\qquad a_\varepsilon=\varepsilon^{-1}.Schilder定理说，其好速率是平方速度的总能量；没有平方可积速度表示的连续路径，代价为无穷。绝对连续的要求不能删去：连续路径也可能将变化集中在Lebesgue零集上，而有限能量不能容许这种隐藏移动。
I_T(h)=\begin{cases}\displaystyle\frac12\int_0^T|g(s)|^2\,ds,&h(t)=\displaystyle\int_0^tg(s)\,ds,\ g\in L^2([0,T];\mathbb R^d),\\\infty,&\text{otherwise}.\end{cases}这不是从“Gaussian密度具有平方指数”直接猜到的路径结论。必须先在每个网格上算出能量，再证明这些网格共同保留全部有限代价路径，并控制两点之间没有被记录的运动。
29.18 一组Gaussian增量，怎样写成折线路径的代价
取m等分网格，Δ=T/m，Πₘ为通过网格值的折线插值。独立增量的联合密度含下式指数；密度前的ε幂次在乘ε取对数后消失。每段位移要除以其时间长度，因而不是单纯把位移平方相加。
E_m(h)=\frac12\sum_{j=1}^m\frac{|h(j\Delta)-h((j-1)\Delta)|^2}{\Delta}.有限维开球内，密度下界给开下界；有界区域的体积乘密度上界给紧上界。再以Gaussian平方的指数矩控制远端，补足非紧闭集。通过有限维到折线空间的连续映射，得到ΠₘXε的完整LDP：折线路径的速率是Eₘ，非该网格折线的路径速率为无穷。这个Gaussian密度证明在T-SCHILDER逐项给出，不以CLT或普通弱收敛代替。
29.19 为什么有限网格的平方和只能产生这种速度
只使用二进嵌套网格m=2ᵏ。细分一段时，Cauchy–Schwarz说明新能量不少于旧能量。令vₖ为Π₂ᵏh的分段常速度。细网格速度在每个粗单元的平均恰是粗速度，故有正交差恒等式。
\|v_\ell-v_k\|_2^2=\|v_\ell\|_2^2-\|v_k\|_2^2\quad(\ell\ge k),\qquad\|v_k\|_2^2=2E_{2^k}(h).若网格能量有界，右边随k、ℓ趋无穷而趋0，速度在L²中Cauchy。第15章前已建立的L²完备性给极限g；积分的上确界误差不超过平方根T乘L²误差。折线又一致趋h，遂有h(t)=∫g。这一步真正排除了连续但非绝对连续的路径。
反向若h=∫g且g在L²中，每格平均的Jensen给能量不超过g的平方积分。相同Cauchy论证给一个速度极限，其从0到每个t的积分仍是h，测度唯一性使它等于g几乎处处。因此不仅有一边估计，而有能量的精确识别。
I_T(h)=\sup_{k\ge0}E_{2^k}(h).每项网格能量连续，所以I下半连续。I≤L还给下面的共同振幅界，Arzelà–Ascoli使水平集紧。这就是路径能量的好性：有限代价不允许无界移动或任意窄的有限高度尖峰。
|h(t)-h(s)|\le\sqrt{2L}\,|t-s|^{1/2},\qquad\|h\|_\infty\le\sqrt{2LT}\quad(I_T(h)\le L).29.20 未被网格看见的部分，必须比目标事件更罕见
每段Brownian路径与其连线的差，不超过该段相对左端的最大增量的两倍。若d维差的欧氏范数超过δ，至少一个坐标超过δ除以平方根d。第26章反射尾界、坐标及网格联合界遂给下式；不需要预先假设桥独立。
P\{\|X^\varepsilon-\Pi_mX^\varepsilon\|_\infty>\delta\}\le4dm\exp\!\left\{-\frac{\delta^2m}{8dT\varepsilon}\right\}.先ε趋0，再m趋无穷，误差事件的指数代价可以任意大。这称为指数好逼近。固定某一个m时，误差并不是自动超指数小；两个极限的顺序不能颠倒，也不能把固定网格与原路径直接称为指数等价。
普通逼近只保证误差概率趋0，仍可能远大于我们要估计的e⁻ᶜ⁄ᵋ。这里需要误差更罕见，才敢从“折线落在目标附近”的概率中减去它。这是路径大偏差比路径弱收敛多出的实际工作。
29.21 把所有网格的代价，变成整条路径的定理
先证路径指数紧，不能把它写成普通紧性的同义词。给L>0，选δⱼ趋0，再选越来越细的二进网格mⱼ，使上节尾界的指数δⱼ²mⱼ/(8dT)连同前因子4dmⱼ一起足够大。要求路径有统一范数界，且对每个j都在其折线的δⱼ邻域。每个固定网格的有界折线集合紧，δⱼ趋0使这组路径全有界；约束闭，空间完备，遂紧。
对这些约束使用上节估计和Brownian最大值尾界，无穷并集仍有任意指定的指数衰减。前因子随j增长，必须在选mⱼ时吸收，而不能对无穷多项分别忽略。配套证明给出一套明确参数。
现在对紧集K，Xε在K意味着其网格投影在ΠₘK。有限维上界给−inf_K Eₘ；二进能量递增，紧性保证先取K上最小值再细化，与先取全部网格能量再最小化一致：否则一列低能量点的聚点会违反极限能量下界。于是得到−inf_K I。指数紧再给所有闭集上界。
对开G中有限能量h，取小球完全落在G。先选足够细的固定网格，使Πₘh接近h，且逼近失败的指数代价严格大于I(h)。折线邻域的概率有代价至多Eₘ(h)≤I(h)，减去指数更小的误差概率，仍保留同一下界。对h优化，完成Schilder，而不是仅完成它的有限维部分。
上述指数紧集合、两个极限及“两个小概率相减”的引理均在T-SCHILDER完整写出。没有借用Girsanov、随机积分或一个未证明的路径变分原理。
29.22 哪些误差可以在指数尺度上真正忽略
同一概率空间中的Zₙ与Yₙ若对每个正δ，距离超过δ的概率都比任何e⁻ᴸᵃⁿ衰减更快，就称为速度aₙ下指数等价。这是允许改变模型近似而不改变LDP的精确条件。
\limsup_n a_n^{-1}\log P\{d(Z_n,Y_n)>\delta\}=-\infty\qquad(\delta>0).若Zₙ有好速率I的LDP，则Yₙ有相同LDP。闭集F的概率用Zₙ落在闭δ邻域加误差概率控制，再令δ趋0。好性保证这些邻域上的最小代价趋于F上的最小代价：代价有界的近似点有收敛子列，距离趋0强迫极限在闭F中。邻域本身不必紧。
开下界取G内部小球，再减去超指数小误差，使用上一节的指数差引理。完整证明见T-LDP。在Schilder构造中，若令网格m(ε)也趋无穷，显式尾界给指数等价；但我们的固定网格证明已经先独立建立了路径LDP，没有倒过来用待证结论。
29.23 概率变成指数积分时，最优代价如何留下来
若一个事件有代价I，而观察者又按e的aₙΦ次方奖励该记录，奖励与代价在对数尺度上相减。LDP实际上给下面的Laplace公式，先严格限于有界连续Φ。
\lim_n a_n^{-1}\log E e^{a_n\Phi(Z_n)}=\sup_x\{\Phi(x)-I(x)\}.下界在任意x的小开邻域上把Φ压到Φ(x)−δ，再用开下界。上界将Φ的有界值域切成有限个宽δ的区间；每项期望由区间上端的指数乘{Φ≥区间下端}的概率控制，后者闭，使用闭上界。有限和取最大给不超过sup(Φ−I)+δ，令δ趋0即可。这证明而不是预设了所需变分公式。
无界Φ需要额外指数尾条件，不能照抄本式。正如无界均值不能直接弱收缩，指数奖励也可能让极远处少量质量主导答案。
29.24 平方能量怎样回答一次具体的越界
对一维Brownian小噪声，要求在T以前到达正高度b。任意实现这一点的有限能量路径，若在s≤T达到b，Cauchy–Schwarz给能量至少b²/(2s)，因而至少b²/(2T)。匀速直线h(t)=bt/T达到这个下确界。最大值是路径一致拓扑下连续读数，开事件最大值>b与闭事件最大值≥b的代价相同：取 h_\eta(t)=(b+\eta)t/T，再令η递减到0，便从开事件一侧逼近该代价。
\lim_{\varepsilon\downarrow0}\varepsilon\log P\left\{\sup_{t\le T}\sqrt\varepsilon B_t\ge b\right\}=-\frac{b^2}{2T}.第26章反射公式也给这个指数，然而能量现在给出的是可推广的机制：有限总时间内完成指定移动，匀速最省平方代价。它不声称条件路径一定逐条变成直线，也不把概率代价说成粒子的物理耗能；那需要另加模型和结论。
这也说明为什么对所有路径直接求普通导数是错误的。Brownian典型路径在每个ε下都粗糙、几乎必然不在有限能量类中；有限能量路径是描述稀有邻域代价的参照，而不是Brownian样本突然获得了可微性。
29.25 典型的尺度与罕见的尺度
全正面的硬币并没有违反大数定律，极远的偏离也没有推翻中心极限定理。它们要求读取另一个尺度。对数把独立记录的权重相乘变成可累加的代价；最小化告诉我们，同一偏离可以用哪些不同方式实现。
均值的代价由指数倾斜及其凸闭包识别，经验分布的代价是改变整份样本规律的相对熵，连续Gaussian路径的代价是不断细化后留下的平方能量。这些答案并非三个互不相关的公式：它们都在寻找一种新观察，使原来的罕见记录变得可分析，同时如实偿还改换观察的权重。
但共性没有抹去差别。有限维分布不能代替路径；弱紧性不能代替指数紧；小概率误差不能代替指数可忽略误差；有限方差也不能代替所需尾部条件。真正得到一条路径以后，我们才有资格用其几何提出这样的极端问题。
接下来，若不只观察完整路径，而要在运动进行时根据已经看到的信息采取行动，函数空间与分布还不够。什么信息在当前时刻已经可用，什么量能够在下一次噪声到来以前决定，将成为新的数学数据。这里留下的是另一类必要性：不仅要描述一条运动，还要精确规定我们在运动之中何时知道什么。
来源与本章边界
Cramér的1938年原文可通过署名译本与原刊信息核对；Sanov原文见1957年期刊档案；Schilder的1966年论文机构档案保留题名及原论文入口。现代证明核对使用Varadhan的作者讲义。本章是独立的现代叙事与证明组织，不把今天的Polish空间、凸闭包和网格证明归称为三篇原文逐字采用的写法。
已证范围为有限维i.i.d.均值的邻域指数矩Cramér、Polish弱拓扑Sanov、有限时间标准d维Brownian一致拓扑Schilder，以及本章明确条件下的收缩、指数等价和有界连续Laplace公式。一般动力系统的偏离、小噪声SDE的Freidlin–Wentzell及无界指数奖励不在这些结论中自动取得，后续须先建立各自依赖。