Haobai Wang · 公开阅读版 · ch11-zh-b2b099fd1919
内容指纹用于核对本章文本，不表示学术终审或独立的作者身份证明。
SHA-256: b2b099fd191928a19f8ec7a9b2743b5e1a1f236e20d4f0a65258851ce0029782
《偶然的数学》
第二卷 · 无限世界中的概率
第十一章：分布怎样被函数记录？——特征函数、独立和与 Gaussian 极限
把两次独立掷骰的点数相加，同一个总数可以来自好几种点数组合。即使两个骰子的分布都已知道，总和的概率也要把这些组合的贡献汇集起来。再加入更多随机变量，逐一列举的计算很快就会变得繁重。
第三章的 Gaussian 极限说明，独立求和还可能使原本不同的分布逐渐显出共同的形状。要看清这种变化，我们需要一种便于计算的表示，又不能为了简便而丢掉原来的概率信息。
怎样的数学表示，既能完整识别一份概率分布，又能把独立求和变成简单的运算？
11.1 一份公平价格，为什么还不是一份分布？
一份收益必定是32枚金币，另一份收益以相等机会取0或64。两者的期望相同，却显然不是同一种实验。期望记录平均位置，没有记录结果怎样散开。
于是我们再问方差。但即使平均位置和离散程度都知道，故事仍然没有结束。设第一个实验以相等机会取 -1,1，第二个实验以概率 2/3 取0，以概率各 1/6 取 -\sqrt3,\sqrt3。它们都有均值0、方差1；第四次矩却分别是1与3。
我们可以继续追问第三次矩、第四次矩，以及更多的平均值。然而有些随机变量连一次绝对矩都没有；即使拥有全部整数阶矩，一般也还需要额外条件才能保证它们识别分布。我们此刻需要的，不是一张可能永远填写不完、甚至有些格子不能填写的矩表。
11.2 不再放大远处的结果，而让它们转动
指数函数似乎是一个自然选择。对于独立的实值随机变量，指数把和变成乘积。然而 e^{sX} 会把某一方向上的远处结果放得极大，期望未必有限。
以密度与 (1+x^2)^{-1} 成正比的 Cauchy 分布为例，任何非零实数 s 都会使 \mathbb E e^{sX} 发散：在指数增长的那一侧，二次衰减的密度挡不住它。第三章已经让我们见过这种长尾所造成的困难。
但指数还有另一种用法。把实数的增长改成复平面上的转动，便有
e^{itx}=\cos(tx)+i\sin(tx),\qquad |e^{itx}|=1.无论结果多么遥远，这个读数始终留在单位圆上。它不再因尾部过重而失去可积性。
对于实线上的概率测度 \mu，定义它的特征函数为
\phi_\mu(t)=\int_{\mathbb R}e^{itx}\,\mu(dx),\qquad t\in\mathbb R.若 X 的分布是 \mu，也写 \phi_X。复数期望在这里仅表示分别对实部与虚部积分；它没有引入“复数概率”。第六章的积分已经足以容纳它。
一个固定频率会让不同位置转到相同方向，因此单个读数不可能识别位置。但是改变频率，位置之间原来重合的关系便不断改变。我们希望所有频率的平均转动合在一起，能够识别那份被平均的分布。
这种想法与 Fourier 分析有深刻联系。Fourier 在1822年的《热的解析理论》中研究热传导与三角展开；第四章已经让随机运动与热方程相遇。这里的复指数把同一类振荡工具带入分布研究。这个联系不是说 Fourier 已经以本章的现代测度语言建立了特征函数理论；以下论证是我们在已有概率基础上的现代重建。原书及出版记录
11.3 所有频率的读数，必须彼此相容
先不急着猜它能做什么。一个合法分布给出的读数，至少满足
\phi_\mu(0)=1,\qquad |\phi_\mu(t)|\le1,\qquad
\phi_\mu(-t)=\overline{\phi_\mu(t)}.而且它不只是连续，还一致连续。因为
|\phi_\mu(t+h)-\phi_\mu(t)|
\le\int|e^{ihx}-1|\,\mu(dx)\longrightarrow0
\quad(h\to0).右边不依赖 t。被积函数逐点趋零，并被2控制，第六章的控制收敛定理恰好保证这一步；我们没有要求 X 的任何矩。 所需的任意测度空间版本及零集处理见积分基础补证。
还藏着一项更强的相容性。任取有限个频率 t_1,\ldots,t_m 与复数系数 c_1,\ldots,c_m，
\sum_{j,k=1}^m c_j\overline{c_k}\,
\phi_\mu(t_j-t_k)
=\mathbb E\left|\sum_{j=1}^m c_je^{it_jX}\right|^2\ge0.这样的函数称为正定函数：这里的含义是所有这些矩阵都是 Hermitian 半正定矩阵，绝不是函数值逐点非负。事实上，公平的 \{-1,1\} 实验给出 \phi(t)=\cos t，当然能够取负值。
为什么不同频率之间会有约束？因为它们是在观察同一份概率。我们可以随意组合读数，但组合后的平方模不可能有负期望。许多分别看起来合理的数，未必能共同来自一个世界；第十章条件版本的问题，在这里出现了另一种面貌。
我们稍后还会回来问：这些条件是不是已经足够？眼下更迫切的问题是，独立的相加究竟留下什么痕迹。
11.4 相加时，世界的读数相乘
设 X,Y 独立，分布分别为 \mu,\nu。第八章的乘积概率与第十章的核积分告诉我们，X+Y 的分布是
(\mu*\nu)(A)=\int_{\mathbb R}\int_{\mathbb R}
\mathbf1_A(x+y)\,\mu(dx)\nu(dy).这就是卷积。它不是把同一个位置的概率直接相加，而是把所有能够形成总位移的组合放在一起。被积函数可测、非负，Tonelli 定理保证它确实给出概率。
在频率一侧，这份复杂的组合只留下
\phi_{X+Y}(t)
=\mathbb E(e^{itX}e^{itY})
=\phi_X(t)\phi_Y(t).独立性让联合积分分成两个积分。重复下去，独立同分布的 X_1,\ldots,X_n 就有 \phi_{X_1+\cdots+X_n}=\phi_X^n。平移与缩放也十分直接：
\phi_{aX+b}(t)=e^{itb}\phi_X(at).独立性不能从这句话里悄悄拿走。若 X=Y=Z，其中 Z 为标准 Gaussian 变量，那么 X+Y=2Z 的方差为4；两份独立的标准 Gaussian 相加，方差却为2。相同的边缘分布没有给出相同的和。
我们也不能反过来，仅凭某一个和的特征函数恰好可以写成乘积，就断言原变量独立。真正识别联合独立性，需要保留足够丰富的联合或条件读数；本章末尾再回到这件事。
现在，一条通往第三章的路已经出现：先理解一个小误差的读数，再研究许多次相乘会留下什么。
11.5 钟形曲线在频率中，仍然是一条钟形曲线
开始之前，必须知道我们希望得到的 Gaussian 分布有什么读数，而不能把答案藏在一条未经证明的 Fourier 公式中。
令
\gamma_1(x)=\frac1{\sqrt{2\pi}}e^{-x^2/2},\qquad
\psi(t)=\int_{\mathbb R}e^{itx}\gamma_1(x)\,dx.第三章已经算出 Gaussian 积分，故 \psi(0)=1。由于 \int|x|\gamma_1(x)\,dx<\infty，差商可以在控制收敛下进入积分。再用 \gamma_1'(x)=-x\gamma_1(x) 分部积分，边界项因 Gaussian 衰减而消失，得到
\psi'(t)=i\int x e^{itx}\gamma_1(x)\,dx
=-i\int e^{itx}\gamma_1'(x)\,dx
=-t\psi(t).于是 e^{t^2/2}\psi(t) 的导数为零，初值给出
\phi_{N(0,1)}(t)=e^{-t^2/2},\qquad
\phi_{N(m,\sigma^2)}(t)=e^{imt-\sigma^2t^2/2}.第二式由仿射变换得到；\sigma=0 时理解成点质量 \delta_m。这个计算没有使用一般反演定理。
Gaussian 的特殊性此时十分醒目。两份独立 Gaussian 的读数相乘，只会把线性项与二次项的系数相加。等我们证明读数能识别分布，就能严格断言：独立 Gaussian 的和仍是 Gaussian，均值与方差分别相加。
不过，我们还欠着最关键的一步。会计算读数，不等于已经知道读数不会丢失世界。
11.6 给分布蒙上一层可以逐渐揭去的薄雾
如果分布有光滑密度，似乎容易从振荡积分中找回它。但我们面对的也许是点质量、奇异分布，或者三者的混合。第十章已经警告我们，不能因为喜欢密度，就假定每份概率都有密度。
一个办法是主动加入一点独立的 Gaussian 噪声。令 Z\sim N(0,1) 与 X 独立，考察 X+\varepsilon Z，其中 \varepsilon>0。它的密度是
g_\varepsilon(x)=\int\gamma_\varepsilon(x-y)\,\mu(dy),\qquad
\gamma_\varepsilon(u)=\frac1{\sqrt{2\pi}\varepsilon}
e^{-u^2/(2\varepsilon^2)}.这是把每个原来的位置变成一个很窄的 Gaussian 小丘。Tonelli 给出总积分1；平移参数中的连续性由有界控制收敛给出。原分布即使没有密度，加噪后的分布也有连续密度。
上一节的 Gaussian 计算稍作缩放，还给出一个可以直接验证的恒等式：
\gamma_\varepsilon(u)=\frac1{2\pi}
\int_{\mathbb R}e^{-itu}e^{-\varepsilon^2t^2/2}\,dt.把它代入 g_\varepsilon，由于 \int e^{-\varepsilon^2t^2/2}\,dt<\infty，Fubini 定理允许交换积分，得到
g_\varepsilon(x)=\frac1{2\pi}
\int_{\mathbb R}e^{-itx}\phi_\mu(t)
e^{-\varepsilon^2t^2/2}\,dt.这是一份真正已经证明的恢复公式。我们先用 Gaussian 自身的积分恒等式，再用绝对可积性换序，没有借用尚待证明的一般 Fourier 反演。
噪声带来了密度，却也改变了分布。所以还要问：薄雾揭去之后，会不会留下另一个世界？对任意有界连续函数 f，
\int f(x)g_\varepsilon(x)\,dx
=\int\!\int f(y+\varepsilon z)\,\mu(dy)\gamma_1(z)\,dz
\longrightarrow\int f(y)\,\mu(dy).点态连续性与有界控制已经足够，不必要求 f 在整条实线上一致连续。按照第七章的语言，加噪分布弱收敛回原分布。
我们终于有了一座桥：频率读数决定每一层薄雾，而薄雾可以无限变薄。
同一个操作在两边有不同的面貌：位置上的独立加噪，是把原概率与 Gaussian 核卷积；频率上的变化，则是乘上 e^{-\varepsilon^2t^2/2}。这个因子压住高频，使原本未必可积的读数成为可以绝对积分的函数。等到 \varepsilon\downarrow0，我们通过连续观察恢复原概率，而不是要求每个位置的密度都逐点回来。
11.7 为什么所有频率合在一起，不会遗漏任何概率
假设 \mu,\nu 的特征函数完全相同。上一节的恢复公式便说明，对每个 \varepsilon>0，两份加噪分布的密度完全相同。
再让 \varepsilon\downarrow0，所有有界连续函数对两份原概率的积分也相同。还差一点：事件的指示函数不一定连续，我们怎样知道概率本身相同？
固定任意实数 a。取连续函数 f_m，在 ( -\infty,a] 上等于1，在 [a+1/m,\infty) 上等于0，中间线性下降。于是 0\le f_m\le1，且逐点趋于 \mathbf1_{(-\infty,a]}。控制收敛给出
\mu(( -\infty,a])=\lim_m\int f_m\,d\mu
=\lim_m\int f_m\,d\nu=\nu(( -\infty,a]).两份分布函数处处相同；半直线生成实线的 Borel 集，由生成类唯一性定理得到 \mu=\nu。
这就是特征函数唯一性定理。它没有假设密度存在，没有要求任何矩，也没有忽略分布的原子。
回想本章开头。均值与方差像只读了两格账目，特征函数则把整份概率变成一族有界读数。单个读数会让位置重合，所有频率一起变化，却使任何不同的分布都无法永远躲藏。
至此，独立 Gaussian 和的计算才真正成为分布结论，而不再只是一条函数恒等式。
11.8 什么时候，能够直接读出密度？
刚才每次恢复都带着一个 Gaussian 因子。如果原来的 \phi_\mu 已经属于 L^1(\mathbb R,dt)，我们能否把这个因子直接拿走？
定义
g(x)=\frac1{2\pi}\int e^{-itx}\phi_\mu(t)\,dt.它是连续函数，且
\sup_x|g_\varepsilon(x)-g(x)|
\le\frac1{2\pi}\int|\phi_\mu(t)|
|e^{-\varepsilon^2t^2/2}-1|\,dt\longrightarrow0.所以 g\ge0。对任意紧支撑连续 f，一方面加噪分布弱收敛于 \mu，另一方面上面的局部积分由一致收敛趋于 \int fg\,dx，因而两者相等。
取连续紧支撑函数 0\le\chi_R\uparrow1，得到 \int g\,dx=1。再用这些截断函数和两份有限测度的尾部控制，把积分相等从紧支撑连续函数推广到全部有界连续函数；上一节的斜坡逼近便给出 \mu(dx)=g(x)\,dx。这证明了可积特征函数的密度反演公式。
这里揭去薄雾的方式，比唯一性证明多了一项保证：原读数本身可积，所以恢复公式中的 Gaussian 因子能够在绝对积分内撤去，甚至给出密度的一致收敛。任意概率的唯一性只需要有界连续观察下的恢复，并不需要拥有这样的密度。
条件只是充分条件。均匀分布 U[-a,a] 有很好的密度，却有
\phi(t)=\frac{\sin(at)}{at},\qquad \phi(0)=1,而它的绝对值在整条实线上不可积：在每个足够远的半周期中，总有固定比例的区间满足 |\sin(at)|\ge1/2，这些区间贡献一串发散的调和级数。不能把“有密度”与“特征函数可积”当成同一件事。
我们还会需要一个反方向的小工具。设 h 有界、连续且可积，令 g(x)=(2\pi)^{-1}\int e^{-itx}h(t)\,dt，并另外知道 g 可积。加入一个作用在位置上的 Gaussian 截断，有
\int e^{isx}e^{-\delta^2x^2/2}g(x)\,dx
=\int h(t)\gamma_\delta(s-t)\,dt.Fubini 在这里合法，因为 h 与位置上的 Gaussian 都绝对可积。令 \delta\downarrow0，左边由 |g| 控制，右边写成 \int h(s-\delta z)\gamma_1(z)\,dz，由有界连续性趋于 h(s)。因此 \int e^{isx}g(x)\,dx=h(s)。
这条互反关系特别有用：如果我们算出某个候选函数的逆积分是非负、总积分1的 g，就确实找到了它对应的概率，而不只是猜出一对形式相似的公式。
11.9 第三章的长尾反例，现在终于有了完整读数
在第三章 §3.8，Cauchy 平均不集中的现象已经提醒我们检查尾部。那里使用了已知的特征函数和唯一性；现在唯一性已经建立，只需把那份当时借来的读数真正算出来。
取 a>0，考虑候选读数 h(t)=e^{-a|t|}。它有界、连续、可积。利用偶性与一个普通指数积分，
\frac1{2\pi}\int e^{-itx}e^{-a|t|}\,dt
=\frac1\pi\int_0^\infty e^{-at}\cos(tx)\,dt
=\frac{a}{\pi(a^2+x^2)}.最后一步可把余弦写成复指数积分的实部，也可直接分部积分两次得到。右边非负，利用反正切的原函数可知总积分1。上一节的互反关系于是严格证明：尺度 a 的中心 Cauchy 分布，特征函数确实是 e^{-a|t|}。
现在让 X_1,\ldots,X_n 是这样的独立同分布变量，则
\phi_{(X_1+\cdots+X_n)/n}(t)
=\left(e^{-a|t|/n}\right)^n=e^{-a|t|}.由唯一性定理，平均值与每一个 X_i 有完全相同的分布。平均并没有变得集中。
这次计算把尾部与尺度连接得更清楚：Cauchy 的读数在原点留下一个与 |t| 同阶的尖角，有限方差分布经中心化后却留下二次项。相加时要保留哪一阶贡献，决定了平均为什么需要不同的缩放。
我们还没有建立一般稳定分布理论。但已经知道，中心极限定理绝不是一句“只要相加，就会变成正态”。
11.10 连原子和区间边界，也能从振荡中找回来
密度反演需要额外可积性，唯一性却没有。对于任意概率，我们仍然能够借薄雾恢复区间质量，只是边界需要认真处理。
对 a<b，把第11.6节的密度公式在 (a,b) 上积分，得到
\int_a^b g_\varepsilon(x)\,dx
=\frac1{2\pi}\int
\frac{e^{-ita}-e^{-itb}}{it}\,
\phi_\mu(t)e^{-\varepsilon^2t^2/2}\,dt.在 t=0 处将商定义为 b-a。它的模不超过 b-a，Gaussian 因子使换序的绝对可积性得到保证。
另一方面，左边是 P(a<X+\varepsilon Z<b)。固定 X=x 后，x 在区间内部时条件概率趋于1，在外部时趋于0；恰在某个端点时，由 Gaussian 的对称性趋于 1/2。因此
\mu((a,b))+\tfrac12\mu\{a\}+\tfrac12\mu\{b\}
=\lim_{\varepsilon\downarrow0}\frac1{2\pi}\int
\frac{e^{-ita}-e^{-itb}}{it}\phi_\mu(t)
e^{-\varepsilon^2t^2/2}\,dt.这些半个原子不是书写上的麻烦，而是对称噪声从边界两侧观察的真实结果。
甚至单个原子的质量也有直接读法：
\frac1{2T}\int_{-T}^T e^{-ita}\phi_\mu(t)\,dt
=\int\frac{\sin(T(x-a))}{T(x-a)}\,\mu(dx)
\longrightarrow\mu\{a\}.在 x=a 处商取1；其模始终不超过1，其余各点趋于0，控制收敛完成证明。不断振荡使不在目标点的贡献互相抵消，恰在目标点的质量则一直保持同一方向。
我们已经知道读数能恢复分布。接下来更难的问题是：如果每一项读数都逐渐稳定，分布本身是否也稳定？
11.11 每个频率都收敛，为什么世界还可能消失？
如果 \mu_n\Rightarrow\mu，第七章的有界连续函数判别立即给出 \phi_{\mu_n}(t)\to\phi_\mu(t)：分别对余弦与正弦使用它即可。
反过来却有一个陷阱。让 \mu_n 是 [-n,n] 上的均匀概率。则
\phi_n(t)=\frac{\sin(nt)}{nt}\longrightarrow
\begin{cases}1,&t=0,\\0,&t\ne0.\end{cases}每个频率都有极限，但极限不是任何概率的特征函数，因为它在0不连续。位置一侧也能看出问题：每个固定有界区间的质量都趋于0。概率没有在每个 n 中消失，却逃离了我们保持不动的观察窗口。
所以，逐点极限不只需要回答读数是否稳定，还必须阻止整份质量逃向无穷远。第七章区分过单个概率的紧性与一族概率的一致紧性。这里真正需要的是后者：对每个 \eta>0，存在一个共同的有界闭区间，容纳全部 \mu_n 至少 1-\eta 的质量。
特征函数在原点附近的行为，竟然足以发现这种逃逸。要看清它，不能只盯住一个频率，而要把一小段低频读数放在一起。
11.12 原点附近的一小段读数，怎样拦住远处的质量？
对 \delta>0，定义
A_\delta(\mu)=\frac1{2\delta}\int_{-\delta}^{\delta}
(1-\operatorname{Re}\phi_\mu(t))\,dt
=\int\left(1-\frac{\sin(\delta x)}{\delta x}\right)\mu(dx).换序合法，因为有界区间上被积函数有界。位置 x=0 处取连续延拓值。括号非负；当 |x|>2/\delta 时，正弦商的模小于 1/2。于是
\mu\{|x|>2/\delta\}\le2A_\delta(\mu).这就是我们需要的桥。低频平均偏离1很小，远处就不可能藏着很多质量。
假设 \phi_n(t)\to\phi(t) 对每个实数成立，并且 \phi 在0连续。自动有 \phi(0)=1。先选很小的 \delta，使 1-\operatorname{Re}\phi(t) 在这段频率上很小。再在有限频率区间用有界控制收敛，得到
A_\delta(\mu_n)\longrightarrow
\frac1{2\delta}\int_{-\delta}^{\delta}
(1-\operatorname{Re}\phi(t))\,dt.因此所有充分大的 n 都有共同的尾部控制。剩下有限多个 \mu_n，分别利用 [-R,R]\uparrow\mathbb R 选择区间，再把半径取最大值即可。整族概率因此一致紧。
注意证明的次序：先控制极限在原点附近的读数，再控制足够后面的全部概率，最后照顾有限个开头。仅仅说“每一份概率都紧”，是无法得到共同窗口的。
11.13 有了共同窗口，怎样真正抽出一份极限分布？
阻止逃逸，还不等于已经构造极限。我们需要一个实线上的抽取论证。这里不借用后面一般空间中的 Prokhorov 定理，而直接利用实线的有理刻度。
设 \{\mu_n\} 一致紧，F_n 是它们的分布函数。把有理数排成一列，在第一个有理数上选收敛子列，再在第二个上继续抽取；对角子列 n_k 使
F_{n_k}(q)\longrightarrow L(q)\qquad(q\in\mathbb Q).每个读数落在 [0,1]，所以抽取可以一直进行；而 L 在有理数上单调。定义
F(x)=\inf_{q>x,\ q\in\mathbb Q}L(q).它单调且右连续。要核对右连续，给定略大于 F(x) 的数，先选 q>x 使 L(q) 小于它；所有充分靠近 x 的右侧点 y<q 都满足 F(y)\le L(q)，再与单调性结合。
一致紧性保证 F(-\infty)=0,F(+\infty)=1。具体说，对给定 \eta 选共同区间 [-R,R]。在 q<-R 时所有 F_n(q)\le\eta，在 q>R 时所有 F_n(q)\ge1-\eta；取极限再让 \eta\downarrow0，便得到两端性质。
第十章的分位数构造现在给出分布函数为 F 的概率 \mu：取一个均匀变量，把它送到相应分位数即可。我们不需要重新假定极限测度存在。
最后核对在 F 的连续点 x，确有 F_{n_k}(x)\to F(x)。对有理 p<x<q，单调性给出
L(p)\le\liminf_k F_{n_k}(x)
\le\limsup_k F_{n_k}(x)\le L(q).右侧取下确界是 F(x)。左侧取上确界是 F(x-)：一方面 L(p)\le F(p)，另一方面对任意 y<x 可选有理 q\in(y,x)，使 F(y)\le L(q)。连续点处两者相同，夹逼完成。
按照第七章的分布函数判别，我们得到了弱收敛子列。这是实线上的 Helly 型选择原理：共同的尾部窗口防止质量逃走，可数刻度允许对角抽取，单调与右连续把零散读数重新拼成一份概率。
11.14 Lévy 连续性定理：局部相容如何恢复整个极限世界
现在所有工具终于可以相接。
若概率测度 \mu_n 的特征函数在每个实数上趋于 \phi，并且 \phi 在0连续，那么存在唯一概率 \mu，使 \phi=\phi_\mu，且 \mu_n\Rightarrow\mu。反之，弱收敛必使特征函数逐点收敛到极限分布的特征函数。
这是实线上的 Lévy 连续性定理。反向已经证明。正向先由低频不等式得到一致紧性，再由上一节抽出一个弱收敛子列，其极限记作 \mu。沿这条子列，有界连续函数判别给出 \phi_\mu(t)=\phi(t)。极限候选不只是一串读数，它确实来自概率。
任何另一条子列，也有进一步弱收敛的子列；它的极限仍具有同一个特征函数，由唯一性只能等于 \mu。如果原序列在某个 F_\mu 的连续点没有趋于 F_\mu，就能选出始终偏离一个固定距离的子列，再抽出弱收敛子列，得到矛盾。因此整个序列弱收敛。
这里没有要求事先知道 \phi 在所有位置连续。原点的连续性足以防止逃逸；一旦找到了概率，它在其他位置的连续性便自动出现。
也没有要求所有随机变量住在同一个概率空间。我们比较的是各自的分布。第七章的 coupling 可以在需要时重新安排共同实现，但不能把重新实现后的逐点结论，误当成原来那批变量已经具有的几乎必然关系。
这条定理真正完成了频率语言的承诺：逐点计算只要在原点守住连续性，就能推出整个分布的极限。第三章的钟形曲线，终于可以沿这条道路重新出现。
11.15 原点附近，有限方差究竟留下什么？
在很多计算中，人们习惯把指数展开后直接取期望。但若余项含有 |X|^3，就会悄悄要求三阶矩。这不是有限方差中心极限定理的假设。
我们必须让二阶展开只消耗二阶矩。指数函数的积分余项给出
e^{iu}=1+iu-\frac{u^2}{2}+u^2r(u),\qquad
r(u)=\int_0^1(1-s)(1-e^{isu})\,ds.对每个实数 u，有 |r(u)|\le1，且 r(u)\to0 当 u\to0。这个余项不要求把三次幂带进积分。
设 \mathbb EZ=0,\mathbb EZ^2=1。代入 u=hZ，得到
\phi_Z(h)=1-\frac{h^2}{2}
+h^2\mathbb E[Z^2r(hZ)]
=1-\frac{h^2}{2}+o(h^2).因为 |Z^2r(hZ)|\le Z^2 可积，控制收敛恰好完成最后一步。我们没有增加任何三阶矩假设。
更一般地，若 \mathbb E|X|^k<\infty，反复使用受 |X|^j 控制的差商，可以得到 \phi_X^{(j)}(t)=\mathbb E[(iX)^je^{itX}]，j\le k。但本章的极限只需要上面的二阶局部信息。
所以有限方差的作用，不是让所有远处结果都变得无害，而是使它们在足够低的频率下，合在一起留下一个可控的二次项。与 Cauchy 原点处的一次尖角相比，这是一种真正不同的局部几何。
11.16 许多小误差相乘，为什么只留下二次项？
第三章 §3.6已经沿着乘积与二阶项，解释过钟形曲线的机制。现在，第11.15节的余项控制和刚刚证明的连续性定理，使这条路线的每一步都有了依据。设 X_1,X_2,\ldots 独立同分布，
\mathbb EX_1=m,\qquad
0<\sigma^2=\mathbb E(X_1-m)^2<\infty.令 Z_j=(X_j-m)/\sigma，并考察
S_n=\frac{X_1+\cdots+X_n-nm}{\sigma\sqrt n}
=\frac{Z_1+\cdots+Z_n}{\sqrt n}.固定一个频率 t。独立性与二阶展开给出
\phi_{S_n}(t)=\left[\phi_{Z_1}(t/\sqrt n)\right]^n,
\qquad
u_n:=\phi_{Z_1}(t/\sqrt n)
=1-\frac{t^2}{2n}+o(n^{-1}).许多教材此处取复对数。那样做当然可以，但需要选择1附近的分支。我们用一个更直接的比较，避免把这个细节藏起来。令 v_n=1-t^2/(2n)，当 n 充分大时 0\le v_n\le1，而 |u_n|\le1。代数恒等式于是给出
|u_n^n-v_n^n|
\le |u_n-v_n|\sum_{j=0}^{n-1}|u_n|^j|v_n|^{n-1-j}
\le n|u_n-v_n|\longrightarrow0.普通实数极限说明 v_n^n\to e^{-t^2/2}。因此
\phi_{S_n}(t)\longrightarrow e^{-t^2/2}.右边是我们已经直接算出的标准 Gaussian 特征函数，且在0连续。Lévy 连续性定理最终给出
\frac{X_1+\cdots+X_n-nm}{\sigma\sqrt n}
\Rightarrow N(0,1).这就是独立同分布、有限方差中心极限定理的完整现代证明。如果 \sigma^2=0，则 X_1=m 几乎必然；不能再除以 \sigma，而未标准化的中心和除以 \sqrt n 恒等于0，其极限为 \delta_0。
平方根尺度让二次项的累计贡献保持有限；第11.15节的可积控制则使剩下的余量消失。这样的论证只消耗二阶矩，容许那些根本没有三阶矩的误差也进入同一个极限。
不过，单有这段形式计算还不够。唯一性告诉我们读数究竟指向谁；连续性定理保证分布真的趋近它，而不是在频率计算之外偷偷失去质量。前面的长路，正是为了让最后这几行不只是一种漂亮的猜测。
11.17 Gaussian 极限给了什么，又没有给什么？
弱收敛不是每一种局部形状都收敛。若原变量只取整数，S_n 对每个有限 n 仍只有可数个可能值，根本没有 Lebesgue 密度。我们不能说它的密度逐点趋于钟形曲线；局部极限定理需要另加条件和尺度分析。
有限方差的证明也没有给出统一的逼近速度。若希望知道误差多大，常常需要更强的矩或尾部控制。这里不把一个没有量化误差的极限结论，包装成任何样本量下都同样精确的计算公式。
独立性同样不是装饰。若所有 X_j 都等于同一个标准 Gaussian Z，那么中心和除以 \sqrt n 是 \sqrt nZ，其质量不断向外扩散，绝不会趋于标准 Gaussian。依赖结构的极限定理必须另找条件。
还有一个常用的连接值得现在弄清。假设 A_n\Rightarrow A，而 B_n\to b 依概率，其中每对 (A_n,B_n) 定义在同一个概率空间上；不同 n 的空间可以不同。那么
A_n+B_n\Rightarrow A+b,\qquad
A_nB_n\Rightarrow bA.理由不依赖独立性。弱收敛使 A_n 的分布一致紧：在极限分布的左右尾部选两个连续点，由分布函数收敛控制充分大的 n，再照顾有限个开头即可。对有界连续 f，先把 |A_n| 限制在共同的有限区间，再把 |B_n-b| 限制得很小；加法或乘法在这一紧区域内的变化，使 f 的变化一致很小。坏事件的概率分别由紧性与依概率收敛控制，坏事件上的差最多 2\|f\|_\infty。先让 n 增大，再扩大区间、缩小允许误差，便有 \mathbb E f(A_n+B_n)-\mathbb E f(A_n+b)\to0，乘法同理。剩下的极限由对 x\mapsto f(x+b) 或 f(bx) 使用弱收敛得到。
这是 Slutsky 型结论的基本机制：一个量仍在波动，另一个量却已经集中成常数，因此后者可以在分布极限中替换。若极限不是常数，两个边缘的收敛并不能确定联合极限，第四章关于不同时刻关系的警告仍然有效。
至于 Gaussian 极限是否意味着同一条实验记录上的 S_n 几乎必然趋于某个 Gaussian 变量，答案并没有包含在本章定理中。第七章已经区分这些问题。分布形状的稳定，与一条无限记录沿途怎样变化，仍是两种不同的数学要求。
11.18 哪些函数真的能够成为一份概率的读数？
我们先从概率出发得到特征函数，再从特征函数的极限找回概率。现在可以回到第11.3节尚未回答的问题：一个函数怎样证明自己不是一份虚构的频率账目？
实线上的 Bochner 定理回答：h(0)=1、在0连续、且正定，恰好刻画概率测度的特征函数。 必要性已经证明。下面给出充分性的构造；它再次把相容的有限读数变成真实的概率。
先从正定矩阵得到控制。把有限个形式向量的内积定义为 \langle v_t,v_s\rangle=h(t-s)，正定性使 Cauchy–Schwarz 不等式成立；若有零长度向量，先按零空间取商即可。由于每个 v_t 长度为1，
|h(t+s)-h(t)|^2
\le\|v_{t+s}-v_t\|^2\|v_0\|^2
=2(1-\operatorname{Re}h(s)).二阶矩阵还给出 |h(t)|\le1。原点连续因此推出全局一致连续；前面的形式内积只用于有限组合，不需要假定存在随机变量。
再令 h_\varepsilon(t)=h(t)e^{-\varepsilon^2t^2/2}。它仍正定：在任何有限二次型中，把系数换成 c_je^{i\varepsilon t_jZ}，对标准 Gaussian Z 积分即可。它也连续且可积。
我们始终采用正向变换 \int e^{itx}g(x)\,dx，逆向积分带因子 1/(2\pi)。此时还不知道 h 是否来自概率，不能先行调用密度的非负性；先定义候选函数
g_\varepsilon(x)=\frac1{2\pi}\int e^{-itx}h_\varepsilon(t)\,dt.非负性必须从已有的有限二次型中取出来。固定 x 与 T>0，把 [-T,T] 等分成 N 个小区间，长度 \Delta_N=2T/N，各选一点 u_j。在正定二次型中取 c_j=\Delta_N e^{-ixu_j}/\sqrt{2T}，便有
0\le\sum_{j,k=1}^N c_j\overline{c_k}\,h_\varepsilon(u_j-u_k)
=\frac{\Delta_N^2}{2T}\sum_{j,k=1}^N
e^{-ix(u_j-u_k)}h_\varepsilon(u_j-u_k).每个有限和都是实的非负数。被积函数在紧正方形上连续，右边正是二重积分的 Riemann 和；令 N\to\infty，因此得到一个同样实且非负的数，记为 Q_T(x)：
0\le\frac1{2T}\int_{-T}^T\int_{-T}^T
e^{-ix(u-v)}h_\varepsilon(u-v)\,du\,dv
=\int_{-2T}^{2T}\left(1-\frac{|t|}{2T}\right)
e^{-ixt}h_\varepsilon(t)\,dt.等式右端来自差值 t=u-v：当 |t|\le2T 时，两个区间的重叠长度是 2T-|t|，除以 2T 后留下三角权重。这个因子只是在归一化位置窗口；它与 Fourier 逆积分中的 1/(2\pi) 承担不同的作用。
现在令 T\to\infty。三角权重逐点趋于1，模始终不超过1，|h_\varepsilon| 又可积，所以控制收敛给出
\lim_{T\to\infty}Q_T(x)
=\int_{\mathbb R}e^{-ixt}h_\varepsilon(t)\,dt
=2\pi g_\varepsilon(x)\ge0.最后的非负来自每个 Q_T(x) 都非负；再除以正数 2\pi，才得到 g_\varepsilon(x)\ge0。正定性由此真正转化成了候选密度的非负性，而不是靠“反演”这个名称赋予它。
总质量也不能凭空指定。再次用 Gaussian 窗口，
\int e^{-\delta^2x^2/2}g_\varepsilon(x)\,dx
=\int h_\varepsilon(t)\gamma_\delta(t)\,dt
\longrightarrow h_\varepsilon(0)=1.每个 \delta>0 的换序由 h_\varepsilon 的可积性和位置 Gaussian 保证；最后的极限由原点连续性得到。左边随 \delta\downarrow0 单调增加，故单调收敛给出 \int g_\varepsilon=1。第11.8节的互反关系于是说明 h_\varepsilon 确实是一份概率的特征函数。
最后取 \varepsilon=1/n。这些真正的特征函数逐点趋于 h，而 h 在0连续。Lévy 连续性定理便构造出以 h 为特征函数的概率，唯一性定理保证它只有一份。充分性得证。
这里没有用 Bochner 定理来证明 Lévy 定理，再倒过来引用它。我们先由实线紧性和分布函数建立连续性定理，再用它完成正定函数的概率构造。这条路线说明，正定性并非抽象修饰：它把“任何平方模的平均不能为负”保存在有限读数中，最终迫使整个逆积分成为非负概率。
Gaussian 平滑贯穿了这条道路。在唯一性里，它让两份概率成为可以比较的光滑密度；在反演里，可积性允许我们把平滑因子撤去；在这里，它先把候选读数变得可积，同时保存正定性，随后才由正定性证明非负、由 Gaussian 窗口证明质量为1。共同的机制是先压住高频、获得可控的积分，再用已经证明的极限工具揭去薄雾；从一份已有概率出发，与从尚未实现的读数出发，仍需承担不同的证明责任。
Bochner 的1933年论文 Monotone Funktionen, Stieltjessche Integrale und harmonische Analyse 是这一主题的原始文献之一；上面的 Gaussian 平滑证明是本书的现代组织，不声称复现原文论证。原刊出版记录
11.19 观察之后，频率也可以成为条件读数
第十章的一份条件分布核 K(z,dx)，现在可以记录成
\Phi(z,t)=\int e^{itx}K(z,dx).对每个固定 t，它关于 z 可测；对每个固定 z，它关于 t 连续，并是一份概率的特征函数。核积分的定义又保证
\Phi(Z,t)=\mathbb E[e^{itX}\mid\sigma(Z)]
\quad\text{a.s.}其中复数条件期望仍分别处理实部与虚部。观察没有改变频率的定义，却可能改变所有频率的平均方向。
假如我们发现，每个有理频率的条件读数都等于未观察时的 \phi_X(t)，几乎处处成立，会怎样？先对可数个有理数合并例外集。对剩下的每个观察值，连续性把相等推广到全部实频率；唯一性于是给出
K(z,\cdot)=\mathcal L(X)
\quad\text{for }\mathcal L(Z)\text{-almost every }z.代回联合概率的核积分，得到 P(X\in A,Z\in C)=P(X\in A)P(Z\in C)。因此 X 与 Z 独立。反过来，独立性使常值核成为条件分布，条件读数当然保持不变。
这比条件均值不变强得多。观察可能不改变一笔公平价格，却改变风险、尾部与其他收益的全部价格。只有足够丰富的一整族读数都不变，才能断言信息没有改变这一随机变量的世界。
这里再一次需要共同零集。我们没有把不可数个频率各自的“几乎处处”直接相交，而是先在有理频率上合并，再用每一份概率已有的连续性。第十章关于版本的细致安排，如今真正保护了新的分布识别论证。
第十一章结语：听见一条钟形曲线，还没有看完一生的记录
桌上的金币曾让我们问，一个尚未发生的结果为什么能够有今天的价格。后来，信息改变了价格，条件分布又把价格背后的世界重新展开。现在，我们发现这个世界可以被另一种方式完整记录：让结果在不同频率下转动，再观察它们的平均方向。
远处的结果没有被禁止，原子也没有被抹去。每份概率都能留下这些有界读数。Gaussian 薄雾使它们能够反演，薄雾消退使原世界重新出现；原点附近的连续性，则阻止极限中的质量逃往无穷远。
第三章那条曲线终于有了新的解释。独立误差相加，变成频率读数相乘；有限方差使原点附近留下同一种二次结构。平方根尺度之下，很多不同细节逐渐退去，Gaussian 读数留了下来。
但读数识别的是分布。一条无限实验记录，仍然有自己的问题。
同一个实验者不断继续抛掷，前面的偏差会怎样积累？稀有的大跳是否会一再打破平均？一个随机级数，是否真的沿着几乎每条记录收敛？只观察无穷远之后仍然留下的信息，又能决定什么？
我们已经能够描述很多次实验之后，波动的形状像什么。下一章还要追问，在一生不断延长的记录里，什么东西真的会稳定下来。
这一次，需要控制的不会只是终点的分布，而是途中所有可能积累起来的偏差。
历史与进一步阅读
Fourier，Théorie analytique de la Chaleur（1822）：ETH 原书数字馆藏。这里借它说明热传导与振荡分析之间的历史联系，不把现代概率的特征函数构造归作原书的定理。
Bochner，Monotone Funktionen, Stieltjessche Integrale und harmonische Analyse，Mathematische Annalen 108（1933），378–410：原刊出版记录。本章给出的平滑、正定性与连续性定理路线按本书依赖关系自行展开。
特征函数、Lévy 连续性定理与 CLT 的现代课程入口，可参阅 MIT 概率论课程；全书理论广度继续对照 Kallenberg 第三版官方目录。本章已自证使用的实线唯一性、反演、紧性选择、连续性定理与有限方差 i.i.d. CLT；一般度量空间的弱收敛、路径空间紧性、三角阵及多元极限仍需要各自的理论，不能由这里的实线结论替代。