偶然的数学CHANCE / MATHEMATICS

偶然的数学 / 全书目录本页阅读进度
编排与资料

T-LDP:指数尺度、有限维凸闭包与Cramér完整下界

本专题采用第29章的LDP定义,速度aₙ趋无穷。Cramér部分的样本在有限维Rᵈ中,独立同分布,Λ在0邻域有限。不使用Gärtner–Ellis、Sanov或未证明的凸对偶定理来证明它。

L.1 指数和、差与紧集截断

对有限个非负数,最大值不超过和,和不超过项数乘最大值。取对数除aₙ,项数的对数趋0,所以有限和的上指数不超过各项上指数的最大值。下界只需保留任一项。

相减则需要严格分开指数。若liminf log Aₙ/aₙ≥−a而limsup log Bₙ/aₙ≤−b,0≤a<b,则取η>0使a+η<b−η。最终Aₙ≥e的−(a+η)aₙ次方,Bₙ≤e的−(b−η)aₙ次方,故Bₙ/Aₙ趋0。于是Aₙ−Bₙ最终为正,且其下指数至少−a。不能只因A、B各自趋0就作同样推断。

若有开下界、紧上界和指数紧性,对闭F及指数紧集Kᴸ使用并界。紧上界给F∩Kᴸ的指数不超过−inf_F I,逃逸项不超过−L,令L趋无穷给闭上界。此论证不要求紧邻域还是紧集。

L.2 有限样本换测度的准确不等式

设ν≪μ,ρ为密度。非负相对熵由r log r−r+1≥0积分得出。若H有限,logρ在ν下可积:负部积分不超过1/e,正部再由H有限控制。ν几乎必然看到0<ρ<∞,所以有限乘积的似然比在该集合上定义良好。

\int_{\{0<\rho<1\}}\rho|\log\rho|\,d\mu\le1/e,\qquad \mu^{\otimes n}(A)\ge E_{\nu^{\otimes n}}\!\left[\mathbf1_A\exp\left\{-\sum_{i=1}^n\log\rho(X_i)\right\}\right].

右边正是μ乘积对A与{0<ρ<∞}ⁿ之交的质量;μ下ρ无穷的集合为零。ν未必覆盖μ的全部支撑,所以一般只能写不等式。若ν下可积向量g的均值在开G内,大数定律及对logρ的大数定律给以下开下界。这里调用第12章一般可积i.i.d.强律;即使仅依概率强度也已足够。

\liminf_n\frac1n\log\mu^{\otimes n}\left\{\frac1n\sum_i g(X_i)\in G\right\}\ge-H(\nu\mid\mu).

证明时将事件再交以平均logρ≤H+δ,该交在ν乘积下概率趋1;把指数下界e⁻ⁿ⁽ᴴ⁺δ⁾提出积分,最后δ趋0。这不是无限乘积测度的Radon–Nikodym声明。

L.3 有限维凸函数的闭包,直接由最近点证明

设J:Rᵈ→[0,∞]为凸函数,且至少一点有限。定义其下半连续闭包如下。其上图为原上图在Rᵈ⁺¹中的闭包:一个方向由局部下确界,另一方向取半径趋0的近似点与高于J的高度实现。闭包仍凸,并且所有高度非负。

\overline J(x)=\lim_{\delta\downarrow0}\inf_{|y-x|<\delta}J(y),\qquad J^*(\theta)=\sup_y\{\langle\theta,y\rangle-J(y)\}.

对任意r<闭包J(x),z=(x,r)在闭凸上图C外。到C最近点p存在:极小化列可限制在一个有限球,有限维紧性取极限。对w在C,p+t(w−p)在C,比较距离平方并令t趋0,得(p−z)·(w−p)≥0。因此存在向量(α,β)和c,使所有(y,s)在C都有α·y+βs≥c,而α·x+βr<c。

上图向上无界迫使β≥0。若β=0,因为s≥0,可给β加一个足够小的正数,仍保留两侧严格分离,左侧在C上不会减小。于是可取β>0,将分离式解为连续仿射下界ℓ(y)=(c−α·y)/β,且ℓ(x)>r、ℓ≤J。

写θ=−α/β,ℓ≤J给J*(θ)≤−c/β,故θ·x−J*(θ)>r。反向每个θ·x−J*(θ)都是J的连续仿射下界,传到上图闭包仍为下界。让r上升到闭包值(无穷时任意大),便证明双共轭等于闭包。此证明没有要求支撑满维或每点暴露。

J^{**}=\overline J,\qquad \inf_GJ=\inf_G\overline J\quad\text{for every open }G.

第二式的一向来自闭包不超过J;另一向对G内有限闭包值取yₖ趋x且J(yₖ)趋闭包J(x),最终yₖ仍在G。对x取下确界即可。闭集上没有这条一般等式,不能错误用于闭上界。

L.4 熵的均值约束为什么具有共轭Λ

J按正文定义为有限一阶矩、指定均值的分布的最小熵。指数矩邻域保证μ有有限一阶矩,因此J在μ的均值处为0。r log r凸,混合两份密度给熵凸,再对近似最优分布混合,证明J凸。它满足上一节全部条件,不需要最优分布存在。

对有限Λ(θ),μθ的密度严格正。若ν有有限熵和有限一阶矩,则相对于μθ的对数密度是logρ−θ·X+Λ(θ),各项在ν下可积。其熵非负,得到下式。无限原熵时不等式平凡。

H(\nu\mid\mu)\ge\langle\theta,E_\nu X\rangle-\Lambda(\theta),\qquad J^*(\theta)\le\Lambda(\theta).

反向固定任意θ,不要求Λ(θ)有限。令Mᴿ为e的θ·X次方限制到|X|≤R后的μ积分,R足够大使其正。以该限制倾斜并除Mᴿ得νᴿ,它的X及对数密度都在支撑上有界,有限熵;设其均值xᴿ,便有下面的恒等式与不等式。

H(\nu^R\mid\mu)=\langle\theta,x^R\rangle-\log M^R,\qquad J^*(\theta)\ge\langle\theta,x^R\rangle-J(x^R)\ge\log M^R\uparrow\Lambda(\theta).

单调收敛包括Λ无穷的情形,所以J*=Λ在整个Rᵈ成立。上一节给闭包J=Λ*。配合换测度引理,开G的下指数至少−inf_G J=−inf_G Λ*,完成所有点的Cramér下界。

L.5 局部上界、指数紧与好性,各自完成

对每个x、δ和有限Λ(θ),指数Markov给正文的球概率界。若紧K的最小I大于b,逐点选θ并缩小球,使其上界指数严格大于b;有限子覆盖将K概率界为有限倍e⁻ⁿᵇ。b可趋最小I;若最小I无穷,b任意大。

取η>0使全部±ηeⱼ指数矩有限,C为这些Λ的最大值。坐标并界给逃出R立方体的概率不超过2d乘e⁻ⁿ⁽ηᴿ⁻ᶜ⁾,故指数紧。相同线性测试给I(x)≥η范数x∞−C,而I是仿射连续函数上确界,故其子水平闭且有界,在有限维紧。这分别证明指数紧与好性。使用L.1完成闭上界,和L.4下界一起得完整定理。

L.6 指数等价传递的完整开闭集证明

设Zₙ有好速率I的LDP,与Yₙ同在度量空间、同一概率空间,且距离超过任意正δ都超指数小。对闭F,用闭邻域Fδ={x:d(x,F)≤δ}及并界,得Y的闭上指数不超过−inf_Fδ I。

当δ趋0,这些下确界趋inf_F I。否则可选δₖ趋0、xₖ距离F不超过δₖ,且代价始终小于某个严格低于inf_F I的有限数。好性提取子列极限x,距离函数连续给x在F,下半连续给同样低的代价,矛盾。inf_F I无穷时对每个有限代价作此论证。

对开G和其中I(x)有限的x,选r使B(x,2r)包含于G。Z落入B(x,r)且距离误差小于r,便使Y在G。Z的小球有下指数至少−I(x),误差可取比任何有限数更小的上指数,L.1的相减引理给Y同一下界。对x优化;G内无有限代价时下界平凡。好速率不变。

本专题既未把一般弱收敛当成LDP,也未把指数好逼近的固定网格误差误当成指数等价。后一种构造另由T-SCHILDER按正确顺序证明。