Haobai Wang · 公开阅读版 · ch10-zh-d7936210e539
内容指纹用于核对本章文本，不表示学术终审或独立的作者身份证明。
SHA-256: d7936210e53916250665e658e25f35a74a875accabc7594e54665481f660deb3
《偶然的数学》
第二卷 · 无限世界中的概率
第十章：一份概率怎样分解成另一份概率？——密度、条件分布与概率核
桌上的金币还没有离开我们的视线。
上一章使我们能够根据已经看见的结果，重新计算一场游戏的平均收益。那个价格只使用现有信息，并在每个可以辨认的事件上保留真实收益的积分。我们还亲手证明了，这种平均能够存在，不必先借来一个一般密度定理。
但是，知道平均价格，并不等于知道一场游戏。
一场游戏一定支付32枚金币，另一场游戏以相同机会支付0或64枚金币。两者都有32的平均，却不是同一种风险。如果观察已经改变了我们对结果的认识，我们想知道的便不止一个平均数，而是每一种未来结果的机会。
于是，问题再向前走了一步：
能不能把给定信息以后的全部概率，整理成一份真正的概率分布？
这个要求比“对每个事件求一次条件期望”更强。第八章曾经告诉我们，逐个有限实验都合理，不保证随手选择的无限世界能够承载它们。现在，同一种困难在信息内部重新出现：每一道问题分别有答案，不保证这些答案已经共同成为一个世界。
我们将先回到上一章末尾出现的密度，再沿着这份困难，走向条件分布、测度的分解，以及能够随观察改变的概率。
10.1 每一道问题都答对了，为什么仍然没有一份概率？
先把版本问题看得具体一些。
在 [0,1] 上取 Borel 事件和均匀概率 P。让观察者只能辨认概率为0或1的 Borel 事件：
\mathcal G=\{A\in\mathcal B([0,1]):P(A)\in\{0,1\}\}.这确实是子 \sigma-代数：可数个零概率事件的并仍是零概率事件；一列事件中只要有一个概率为1，其并也有概率1。对于任意 Borel 集 A，常数 P(A) 都是 P(A\mid\mathcal G) 的版本。
现在故意作另一种选择。若 A=\{a\} 是单点，令
H(\omega,\{a\})=\mathbf1_{\{a\}}(\omega);对不是单点的 Borel 集，令 H(\omega,A)=P(A)。
对于每个固定的 A，这仍是一个正确的条件概率版本。单点的指示函数是 \mathcal G-可测的，而且只在一个零概率点上不同于常数0；其他集合根本没有改变。
可是固定任何一个 \omega，就会发现
H(\omega,\{\omega\})=1,\qquad
H(\omega,[0,1]\setminus\{\omega\})=1,
\qquad H(\omega,[0,1])=1.两个不交集合的概率相加成了2，而它们的并只有概率1。这里甚至连有限可加性都失败了。
没有任何一个固定问题的答案错了，错的是把分别选择的版本当成了已经协调好的整体。每个单点只改动一个零集，但单点有不可数多个；把这些例外一起丢掉，会把整个区间都丢掉。
这当然不是说本例没有好的条件分布。直接取 K(\omega,A)=P(A) 就完全正确。这个例子要揭示的，是一个不能省略的存在任务：我们必须证明能够作出相容的选择，不能把任意选择都当成相容选择。
在完成这件事以前，先让我们弄清：上一章每一个条件答案究竟从哪里得到权重。
10.2 密度不是一张曲线，而是两份测量之间的关系
第六章中的密度常写成 f(x)\,dx。这种写法容易留下一个印象：密度就是一条相对于长度画出来的曲线。
其实更基本的问题是，给定同一可测空间 (S,\mathcal S) 上的两份非负测度 \mu,\nu，能否找到可测 f\ge0，使
\nu(A)=\int_A f\,d\mu\qquad(A\in\mathcal S)?这里没有要求 S 是实线，也没有要求 \mu 是长度。它可以是离散权重、连续分布，或者另一个已经建立的概率。
若这样的 f 存在，\mu(A)=0 必然推出 \nu(A)=0。我们把这个条件记成
\nu\ll\mu,称 \nu 对 \mu绝对连续。它说的是零集之间的关系，不是函数曲线的连续性。
例如，两个都在有限状态上取值的概率，也可能有这样的相对密度；在 \mu(\{s\})>0 的点上，它就是比值 \nu(\{s\})/\mu(\{s\})。但若 \mu 不给某个点质量，\nu 却在那里放了一枚原子，任何权重都不能从零中造出这枚原子。
于是一个必要条件已经出现。真正的内容在于：在适当的有限性条件下，这个只提到零集的条件，竟然也足以保证整个密度存在。
Nikodym 的1930年论文以推广 Radon 的积分为题，将这个方向推进到抽象集合上的可加测量。原刊记录。这里不照搬原论文的证明；我们沿用上一章已经建立的条件平均，观察两份测度怎样在一个共同实验里显出相对权重。
10.3 如果暂时忘掉一张标签，两份测度会怎样混在一起？
先假设 \mu(S),\nu(S)<\infty。若两者总质量都为0，密度问题已经没有困难。否则令
c=\mu(S)+\nu(S)>0,\qquad \lambda=\mu+\nu.造一个带标签的实验：状态仍然来自 S，但每条记录还带着0或1。规定
P(A\times\{0\})=\frac{\mu(A)}c,
\qquad
P(A\times\{1\})=\frac{\nu(A)}c.这是 S\times\{0,1\} 上的概率；任何可测集合都由两个可测截面组成，其可数可加性直接来自 \mu,\nu。令 Z(s,i)=s，只告诉观察者状态，不告诉他标签。
标签为1的条件机会便是
\mathbb E[\mathbf1_{\{i=1\}}\mid\sigma(Z)]=q(Z).右边的可测分解来自第9.16节：一个实值、\sigma(Z)-可测的函数可以写成可测函数作用于 Z。这个分解对任意可测状态空间成立，不需要先有条件分布核。把 q 截到 [0,1]，仍是合法版本，因此可以让 0\le q(s)\le1 处处成立。
第9.16节用实值观察说明了这件事；这里需要核对，证明并没有依赖观察值是实数。把已经截到 [0,1] 的条件期望代表记为 H，用有限值简单函数 H_n 逐点逼近它。因为 \sigma(Z)=\{Z^{-1}(A):A\in\mathcal S\}，每个 H_n 的水平集都是某个可测状态集合的原像。把这些状态集合依次去掉前面已分配的部分，便得到在状态空间上定义的可测简单函数 q_n，满足 H_n=q_n(Z)。这种去重不改变原像，因为原来的水平集互不相交。
在 q_n(s) 收敛到有限实数的可测集合上取极限，在其余状态上取0，就得到可测 q；对每个原样本点，q_n(Z)=H_n\to H，所以 q(Z)=H 逐点成立。若先选择的条件期望只满足几乎处处的界，先在其可测坏点集上截断即可。这是实值函数的可测分解，不是正则条件分布存在定理，因此此处不需要给 (S,\mathcal S) 增加标准 Borel 假设。
把条件期望的积分等式用在 \{Z\in A\} 上，消去归一化常数 c，便得到
\nu(A)=\int_Aq\,d\lambda,
\qquad
\mu(A)=\int_A(1-q)\,d\lambda.指示函数上的这两个等式，经简单函数与单调收敛，还给出对任意非负可测 h 的换权公式：
\int h\,d\nu=\int hq\,d\lambda,
\qquad
\int h\,d\mu=\int h(1-q)\,d\lambda.现在加入 \nu\ll\mu。在 D=\{q=1\} 上，第二个等式给出 \mu(D)=0，绝对连续性又使 \nu(D)=0。故 \lambda(D)=0。
在其余点定义
f=\frac{q}{1-q},并在 D 上取0。于是
\int_A f\,d\mu
=\int_A f(1-q)\,d\lambda
=\int_Aq\,d\lambda
=\nu(A).这就是有限非负测度的 Radon–Nikodym 定理：若 \nu\ll\mu，则这样的密度存在。
它也唯一到 \mu-几乎处处相等。若 f,g 都是密度，则二者对 \mu 可积；在 \{f>g\} 上积分相减，得到非负差的积分为0，再交换二者即可。因此通常记作
f=\frac{d\nu}{d\mu}.这个符号像微积分中的导数，但它的定义是所有可测事件上的积分等式。它不是要求每个点都有一个“无穷小概率之比”。
证明里的比值也有一种清楚的含义：q 是混合记录中来自 \nu 的条件比例，1-q 是来自 \mu 的条件比例。比较两份测量，就是比较这两张已经隐藏的标签。
上一章从平方几何得到条件平均，这一章再用条件平均构造一般密度；逻辑没有绕圈。若上一章一开始就借用了这里的定理，这段证明便不能再被当成独立证明。
10.4 不能用权重表达的那部分概率去了哪里？
暂时撤掉绝对连续假设，刚才的标签实验仍然有效。只是现在 D=\{q=1\} 未必对 \nu 也是零集。
观察这个集合：\mu(D)=0，而 \nu 可以在那里保留全部或一部分质量。它正是另一份测量完全看不见、却可能被 \nu 看见的区域。
在 D^c 上取 f=q/(1-q)，在 D 上取0，并定义
\nu_a(A)=\int_A f\,d\mu,
\qquad \nu_s(A)=\nu(A\cap D).换权公式逐项给出
\nu_a(A)=\nu(A\cap D^c),
\qquad \nu=\nu_a+\nu_s.第一部分绝对连续于 \mu。第二部分集中在一个 \mu-零集上；我们写
\nu_s\perp\mu,称它与 \mu互相奇异。这里的奇异是测度之间的结构关系，不表示集合一定稀疏、没有拓扑内部或只有可数个点。
这份 Lebesgue 分解也是唯一的。若有两份分解，各自的奇异部分集中在 \mu-零集 D_1,D_2 上，则在 D_1\cup D_2 之外，两个绝对连续部分都等于 \nu；在这个零集之内，两个绝对连续部分都为0。它们因此在全部事件上相同，剩余的奇异部分也相同。
以 [0,1] 上的长度 \ell 为基准，
\nu=\frac12\ell+\frac12\delta_0便有一半质量来自密度，一半来自奇异的点质量。奇异部分也可以没有任何原子，例如承载在零长度 Cantor 集上的连续概率。不能把“没有单点质量”误当成“必定有长度密度”。
密度与奇异部分不是两种相互竞争的描述，而是同一份测量相对于指定基准的两种组成。换掉基准，这份分解也可能改变。
10.5 总质量无穷时，为什么要把空间分成可管理的片段？
概率总质量为1，长度却不必有限。我们需要知道，刚才的存在结论怎样越过有限总质量。
假设 \mu,\nu 都是 \sigma-有限的：各自的空间都能由可数个有限测度集合覆盖。把两份覆盖相交、枚举、再逐一去掉前面的部分，就得到一个可数可测分区 C_n，使
\mu(C_n)<\infty,\qquad \nu(C_n)<\infty.在每个 C_n 上应用有限情形，然后把密度拼成
f=\sum_n f_n\mathbf1_{C_n}.对任意 A，非负积分的可数可加性给出
\int_A f\,d\mu
=\sum_n\int_{A\cap C_n}f_n\,d\mu
=\sum_n\nu(A\cap C_n)=\nu(A).这证明了 \sigma-有限 Radon–Nikodym 定理。同样逐片作 Lebesgue 分解，再把奇异支撑取可数并，就得到 \sigma-有限非负测度的 Lebesgue 分解。唯一性也可以逐片检验。
可数性又一次承担了实质工作：局部可测函数能可数拼接，零集的可数并仍是零集。
这不是说去掉有限性以后，只要保留一个“绝对连续”符号，结论就会自动成立。取 [0,1] 上的计数测度 \mu，再令 \nu 为长度。因为计数测度唯一的零集是空集，所以确实有 \nu\ll\mu。
若存在密度，则对每个 x，
0=\nu(\{x\})=\int_{\{x\}}f\,d\mu=f(x).这会使整个区间上的积分也为0，与 \nu([0,1])=1 冲突。这里的计数测度不是 \sigma-有限的。
还要留意上一章的无穷期望。对 X\ge0，在 \mathcal G 上定义 \nu(A)=\int_AX\,dP，未必得到 \sigma-有限测度。如果 \mathcal G 只有空集和全集，而 \mathbb EX=\infty，全集根本不能由有限 \nu-质量的事件覆盖。
因此，不能拿本节的 \sigma-有限密度定理，未经检查就代替第9.8.1节的全部扩展构造。非负截断在那里已经完成了更直接的工作。理解适用边界，比把同一个定理的名字写在每一处都重要。
10.6 改变一份概率，条件平均怎样随之改变？
密度真正有用的地方，是它使我们能够在一份测量中计算另一份测量的积分。
若 \nu=f\mu，从指示函数、简单函数到单调极限，得到
\int h\,d\nu=\int hf\,d\mu\qquad(h\ge0).对绝对可积的带符号 h，分别处理正负部分，结论仍然成立。这才是记号 d\nu=f\,d\mu 的确切内容。
若 \eta\ll\nu\ll\mu 且三份非负测度均为 \sigma-有限，则再用一次换权公式得到链式关系
\frac{d\eta}{d\mu}
=\frac{d\eta}{d\nu}\frac{d\nu}{d\mu}
\quad\mu\text{-a.e.},其中在相关零集上选取可测版本，乘积按照非负积分的约定解释。它的证明不是操作符号分数，而是验证右边在每个事件上给出 \eta 的积分。
现在令 Q\ll P 为两个概率，并记
L=\frac{dQ}{dP},\qquad L\ge0,\quad\mathbb E_PL=1.如果 X\in L^1(Q)，观察信息仍为 \mathcal G，新的条件平均应当怎样计算？
先在旧概率下算两个量：
D=\mathbb E_P[L\mid\mathcal G],\qquad
N=\mathbb E_P[LX\mid\mathcal G].在 D>0 上定义 Y=N/D，在 D=0 上取0。后一个事件对 Q 为零，因为
Q(D=0)=\mathbb E_P[L\mathbf1_{\{D=0\}}]
=\mathbb E_P[D\mathbf1_{\{D=0\}}]=0.非负条件提出性质与 |N|\le\mathbb E_P[L|X|\mid\mathcal G] 保证
\mathbb E_Q|Y|
=\mathbb E_P[D|Y|]
\le\mathbb E_P[L|X|]<\infty.同样，对 A\in\mathcal G，先以有界截断证明换权，再取积分极限，得到
\int_A Y\,dQ
=\mathbb E_P[\mathbf1_A DY]
=\mathbb E_P[\mathbf1_A N]
=\mathbb E_P[\mathbf1_A LX]
=\int_A X\,dQ.这里 N=0 在 D=0 上几乎必然成立：该事件上 L=0 几乎必然，故 LX 的条件积分为0。因此没有偷偷丢掉分子。
唯一性给出
\mathbb E_Q[X\mid\mathcal G]
=\frac{\mathbb E_P[LX\mid\mathcal G]}
{\mathbb E_P[L\mid\mathcal G]}
\quad Q\text{-a.s.}第二章里“用似然重新加权，再归一化”的算式，在这里显出一般结构。分子调整收益，分母调整这份信息中的总权重。后面的随机过程理论还会遇见改变概率的问题；此刻我们已经知道，它的基本账目怎样核对。
10.7 如果账目里既有收益又有损失
到目前为止，我们比较的是非负测度。可是第一章的收益可以换成净收益，账目便可能同时有正有负。
一张账单的总额为零，并不表示每个地方都没有发生变化。一个可以辨认的区域记着收益，另一个区域记着损失；合在一起时它们能够抵消，分开观察时却仍然保留完全不同的信息。若我们只保存抵消后的总数，就无法判断这一份账目相对于原来的概率究竟怎样改变。
所以，刚才的密度问题还没有完全结束。我们需要先找到一份不会因正负抵消而消失的总账，再把收益与损失分开。不断细分可观察区域，把每块净变化的绝对值加起来，正是在寻找这份总账；随后出现的分解，将回答正负贡献究竟集中在哪里。
对有限变差的带符号测度 \rho，定义
|\rho|(A)=\sup_{\{A_j\}}\sum_j|\rho(A_j)|,其中上确界遍历 A 的有限可测分区，并假设 |\rho|(S)<\infty。有限变差限制了可以在不同部分相互抵消的总量。
这个定义本身给出一份非负测度。若 A_n 不交，将前面有限多个 A_n 的近最优分区合并，就有
|\rho|\Bigl(\bigcup_nA_n\Bigr)\ge\sum_n|\rho|(A_n).反过来，对并集的任意有限分区 B_j，可数可加性和三角不等式使
\sum_j|\rho(B_j)|
\le\sum_n\sum_j|\rho(B_j\cap A_n)|
\le\sum_n|\rho|(A_n).取上确界就得到另一方向。所以 |\rho| 可数可加，且 |\rho(A)|\le|\rho|(A)。
于是
\rho^+=\frac{|\rho|+\rho}{2},\qquad
\rho^-=\frac{|\rho|-\rho}{2}都是有限非负测度，\rho=\rho^+-\rho^-。若 \rho\ll\mu，则 \mu-零集的每个可测子集上 \rho 都为0，因此在这样的集合上 |\rho|、\rho^+、\rho^- 也都为0。
对 \sigma-有限 \mu 应用非负密度定理，便得到 \rho^+=f_+\mu、\rho^-=f_-\mu，从而
\rho(A)=\int_A h\,d\mu,\qquad
h=f_+-f_-\in L^1(\mu).这里没有无穷减无穷，因为两个密度的积分都有限。带符号的 Radon–Nikodym 结论因而也被建立起来。若只想为任意有限变差的账目证明分解，不必先指定外部基准：取 \mu=|\rho|，它本身有限，且自动有 \rho\ll\mu，上面的密度构造便总能适用。
再将分区选成 \{h\ge0\} 和 \{h<0\}，与任意分区上的三角估计比较，可以直接验证
|\rho|(A)=\int_A|h|\,d\mu,
\qquad \rho^+=h^+\mu,\quad \rho^-=h^-\mu.两个部分于是集中在不交的正负区域上。这是有限变差账目的 Jordan 分解。我们没有从一个相消后的总数，随意猜出正负贡献；测度在所有可分辨区域中的取值，才共同决定了它们。
密度问题至此已经越过了非负权重。接下来需要跨越的，是“一个权重函数”与“一整份随观察变化的概率”之间的距离。
10.8 一份能够随状态改变的概率，应当满足什么条件？
在两个可测空间 (S,\mathcal S)、(T,\mathcal T) 之间，考虑映射
K:S\times\mathcal T\longrightarrow[0,1].我们要求，对每个固定 s，A\mapsto K(s,A) 是 T 上的概率；对每个固定 A\in\mathcal T，s\mapsto K(s,A) 是 \mathcal S-可测函数。这样的 K 称为从 S 到 T 的概率核，也写成 K(s,dt)。
第一个条件保证每个状态下都有一场合法实验；第二个条件保证状态本身随机时，这场实验仍能被积分、拼接和观察。
可测性不是为了书写整齐。若对一个事件 A，它的机会 K(s,A) 随状态以不可测的方式改变，那么连“对这些机会求平均”都未必有定义。
核可以是完全确定的。若 F:S\to T 可测，则
K(s,A)=\mathbf1_A(F(s))就是只把下一步放在 F(s) 的核。它也可以是第二章熟悉的硬币规则：
K(\theta,\{1\})=\theta,\qquad
K(\theta,\{0\})=1-\theta.还可以是第四章的 Gaussian 位移：对 t>0，
K_t(x,A)=\int_A\frac1{\sqrt{2\pi t}}
\exp\!\left(-\frac{(y-x)^2}{2t}\right)\,dy.当 t=0 时取 K_0(x,\cdot)=\delta_x。原来在某一时刻画出的位置密度，现在成为从当前位置选择未来位置的规则。
这些例子里有密度，也有点质量。核的定义不要求统一的长度密度。条件分布若要成为这样一个核，必须同时满足这两个方向的要求；第10.1节中任意选出的版本恰恰没有做到这一点。
10.9 先选状态，再按状态选结果，能否得到一场共同实验？
假设先按概率 \mu 选择 s，随后按 K(s,dt) 选择 t。我们希望联合概率是
\Gamma(ds,dt)=\mu(ds)K(s,dt).这不能只被当成一种好看的乘法记号。对一个乘积可测集合 E\subseteq S\times T，令 E_s=\{t:(s,t)\in E\}。首先必须证明 s\mapsto K(s,E_s) 可测。
对矩形 E=A\times B，它等于 \mathbf1_A(s)K(s,B)，结论成立。具有这一性质的集合类包含全集，对补集闭合，因为核的总质量为1；对可数不交并闭合，因为核逐状态可数可加。由\pi-\lambda 定理，性质便推广到全部乘积事件。
因而可以定义
\Gamma(E)=\int_SK(s,E_s)\,\mu(ds).对不交的 E_n，在每个 s 上使用可数可加性，再使用单调收敛，便证明 \Gamma 也是可数可加的概率。它在矩形上具有我们希望的取值。
同一个论证从指示函数推广到非负简单函数，再推广到非负可测 h(s,t)，给出核积分公式：
\int h\,d\Gamma
=\int_S\left[\int_T h(s,t)K(s,dt)\right]\mu(ds).内层积分关于 s 可测。只要 \int|h|\,d\Gamma<\infty，正负部分也可以安全相减。第六章的 Tonelli–Fubini 机制，在这里已经不再要求每个状态都使用同一份第二坐标概率。
特别地，若已知联合实验由 \mu 和 K 生成，那么
\mathbb E[h(S,T)\mid\sigma(S)]
=\int h(S,t)K(S,dt)对非负或可积 h 成立。验证的方法仍是第九章的总账：对 \{S\in A\} 积分，两侧相等。
所以，有一个核以后，所有平均就同时有了表达。现在该问反方向：原来只有联合实验时，是否总能拆出这样的核？
10.10 用一列有理刻度，怎样修复不可数多个版本？
先让结果 Y 取实数，观察信息为任意子 \sigma-代数 \mathcal G。
对每个有理数 q，选择一个版本
F_q=\mathbb E[\mathbf1_{\{Y\le q\}}\mid\mathcal G].这里我们暂时不为所有 Borel 集分别选版本，只记录一把有理刻度尺。
条件期望的保序性与条件控制收敛告诉我们，除去零集后，这些数值非降，位于 [0,1]，当有理刻度趋向正负无穷时分别趋向1和0。对每个有理 q，再固定一列有理 r_n\downarrow q，就有
F_{r_n}\downarrow F_q\quad\text{a.s.}有理数、有理数对、这些选定的逼近序列都只有可数多个。因此可以把全部坏点收进同一个 N\in\mathcal G，P(N)=0。在 N 上统一改成点质量 \delta_0 的刻度读数。
现在，对每个 \omega，而不再只是“对某一条预先选定关系几乎处处”，定义
F_\omega(t)=\inf_{q\in\mathbb Q,\ q>t}F_q(\omega).它非降、右连续，在正负无穷处具有1和0的极限，并且在有理点与原来的 F_q 一致。右连续性来自同一批有理上方刻度：当 t_n\downarrow t，这些上方集合逐步恢复 t 的上方集合，两个下确界相等。
这样的函数确实是一份概率的分布函数。为了不把存在藏在名称里，在 (0,1) 上取均匀的 u，定义
Q_\omega(u)=\inf\{q\in\mathbb Q:F_q(\omega)\ge u\}.两端极限保证它有限，单调性与右连续性保证
Q_\omega(u)\le t\quad\Longleftrightarrow\quad u\le F_\omega(t).因此均匀长度在 Q_\omega 下的像，就是分布函数为 F_\omega 的概率，记为 K(\omega,\cdot)。
对半直线，K(\omega,(-\infty,t])=F_\omega(t) 显然关于 \omega 可测。使 \omega\mapsto K(\omega,B) 可测的 Borel 集类又是一个 \lambda-系统，包含生成 Borel 事件的有理半直线。因此 K 是从 (\Omega,\mathcal G) 到实线的概率核。
最后检查它给出的确实是条件概率。在有理半直线上，这就是选择 F_q 时的定义；使
\int_AK(\omega,B)\,dP(\omega)
=P(A\cap\{Y\in B\})\qquad(A\in\mathcal G)成立的 Borel 集 B，同样组成包含有理半直线的 \lambda-系统。故等式对每个 Borel 集都成立。
我们得到了实值随机变量关于任意 \mathcal G 的正则条件分布。对于每个固定 B，它是 P(Y\in B\mid\mathcal G) 的版本；对于每个固定 \omega，它又是一整份真正的概率。
若另有这样的核 L，在可数个有理半直线上同时除去版本差异的零集，两份概率在其余每个 \omega 上都相同。于是存在一个共同的零集，使
K(\omega,B)=L(\omega,B)
\quad\text{for every Borel }B在零集之外同时成立。这里是先用可数刻度协调版本，再让测度的唯一性恢复全部事件；不是把不可数多个例外强行取并。
10.11 如果结果是一条路径，哪里还能找到一把有理刻度尺？
Brownian 路径不是一个实数，随机树也不是一个实数。刚才的证明是否因此只是一条狭窄的小路？
第八章已经定义标准 Borel 空间：它与某个 Polish 空间的 Borel 子集具有双向可测的一一对应。关键事实是，每个这样的空间都可以给出实数中的 Borel 地址。
上一节成功，并不是因为实数容易画在纸上，而是因为可数个有理问题已经足够识别一份实值分布。现在我们要给更复杂的结果寻找同样可数的读数：先问它落在哪一个粗格子，再问它落在哪一个更细的格子。越来越长的地址应该逐渐消除位置的不确定性，而不要求一次写下所有可能事件。
不过，“每次都能指出一个小格子”还不够。地址必须确实指向某个结果，恢复结果的规则必须可测，而且不能把落在格子边界外的假地址也算进去。下面的嵌套分区、极限和最后的边界检查，分别承担这三项任务。我们最终保存的是足以恢复事件的地址，不是把复杂对象的几何形状压成一条直线。
下面把地址怎样产生说清楚。先在非空的完备可分度量空间 S 中，用可数个小开球覆盖空间，按“属于第一个还没有被分配的小球”作 Borel 分区，再逐级细化，得到可数分区
\mathcal P_n=\{C_{n,k}\}_k,
\qquad \operatorname{diam}(C_{n,k})\le2^{-n}.只给非空的格子编号，编号允许从0开始，并在每格选一个代表点 x_{n,k}。每个 x\in S 有一串非负整数地址 a(x)=(k_1,k_2,\ldots)，表示它每一级在哪个格子中。两个不同点最终会被分开，因为共同格子的直径趋向0。
并不是所有整数序列都是有效地址。先要求格子逐级嵌套；这些要求只涉及相邻的整数坐标，所以满足要求的序列构成 \mathbb N_0^{\mathbb N} 的 Borel 子集 C。对 a\in C，代表点列 x_{n,k_n} 是 Cauchy 列，完备性给出极限 L(a)。
极限映射可测。对闭集 F，距离
d(L(a),F)=\lim_n d(x_{n,k_n},F)是可测实函数；闭集的原像因而可测，进而全部 Borel 集的原像可测。
还须防止极限落到半开格子的边界外。于是只保留满足
L(a)\in C_{n,k_n}\quad\text{for every }n的地址，组成集合 D。每项条件都可写成对 k 的可数并，所以 D 仍是 Borel 集。
现在 x\mapsto a(x) 与 a\mapsto L(a) 是互逆可测映射，S 与 D\subseteq\mathbb N_0^{\mathbb N} 可测同构。对 S 的任何 Borel 子集，地址集再与 L 的相应原像相交，仍是 Borel 集。
整数地址也能编成一个实数。把 (k_1,k_2,\ldots) 编成二进制符号串
0^{k_1}1\,0^{k_2}1\,0^{k_3}1\cdots,再把符号0、1分别写成三进制数位0、2。具有无穷多个分隔符1的符号串组成 Borel 集；读出前面有限个分隔符便能恢复前面有限个整数，所以编码和解码都可测。三进制的0、2编码是 Cantor 集上的一一对应，不需要使用带数位1的另一种展开。
于是，标准 Borel 空间 S 与某个 B\subseteq[0,1] 之间存在双向可测的一一对应
b:S\longrightarrow B,\qquad B\text{ Borel}.这段证明里，可分性提供可数问题，直径控制使地址能识别点，完备性使相容地址有极限，最后的 Borel 条件防止地址指向错误边界。它们共同解释了“标准 Borel”为什么能够支撑条件分布，而不是一句装饰性的空间假设。
对于连续路径，地址可以保留足够多的有理时刻读数；对于有限维向量，可以交织各坐标的数字。我们保存的是事件结构，不是要求一条路径在几何上真的变成一条实线。
10.12 观察值改变时，一整份条件分布怎样跟着改变？
现在令 Y 取值于非空标准 Borel 空间 S，观察 Z 取值于可测空间 T。记 Z 的分布为 \mu_Z。我们要构造从 T 到 S 的核，使
P(Y\in A,\ Z\in C)
=\int_C K(z,A)\,\mu_Z(dz).先把 Y 编成实值 b(Y)。对于每个有理 q，条件期望关于 \sigma(Z) 可测，因此可以写成
\mathbb E[\mathbf1_{\{b(Y)\le q\}}\mid\sigma(Z)]
=f_q(Z),其中 f_q:T\to[0,1] 可测。
把上一节实值构造所需的所有可数条件，直接写成关于 \{f_q(z)\} 的条件。违反它们的 z 组成一个可测的 \mu_Z-零集。在这些点上统一放一个固定的实数点质量，就得到从 T 到实线的条件核 K_R。
但实数地址必须落回 B=b(S)。因为 b(Y)\in B 几乎必然，
\int K_R(z,B)\,\mu_Z(dz)=1.因此 K_R(z,B)=1 在 \mu_Z-几乎处处成立。再把不满足这项要求的可测零集收进去，在其上放 \delta_{b(y_0)}，其中 y_0\in S 固定。现在可以把概率通过 b^{-1} 搬回 S：
K(z,A)=K_R(z,b(A)).集合 b(A) 是 Borel 集，因为 b^{-1} 可测。核的两个条件和条件积分等式都随之成立。
这便证明：标准 Borel 值随机元素给定可测观察 Z 的正则条件分布存在；其作为整份概率的版本，在 \mu_Z-几乎处处意义下唯一。 观察空间 T 在这个存在结论中不必另加 Polish 假设；需要标准 Borel 结构的是被分布描述的结果空间。
若直接给定任意子 \sigma-代数 \mathcal G，同样把实值构造搬到地址空间，也得到从 (\Omega,\mathcal G) 到 S 的条件分布核。我们并未因此证明任意原始可测空间上的所有事件都能组成一个正则条件概率：把结果取成原样本点本身时，原样本空间也必须接受相应的结构检查。
这与第九章的结论强弱分明。条件期望的存在不要求结果空间有这些可数地址；把无数个条件平均组织成每个观察值上的概率，才需要这座结构桥梁。
10.13 一份联合概率，怎样沿着观察的切片重新展开？
在 S\times T 上已有联合概率 \Gamma，其中 T 为非空标准 Borel 空间。令 \mu 为第一坐标的边缘概率。
在这个联合空间中，把第二坐标当作结果、第一坐标当作观察，刚才的存在定理给出核 K。对每个矩形，
\Gamma(A\times B)=\int_AK(s,B)\,\mu(ds).而第10.9节已经证明，\mu(ds)K(s,dt) 本身定义一份概率。两份概率在矩形 \pi-系统上相同，因而在整个乘积 \sigma-代数上相同：
\Gamma(ds,dt)=\mu(ds)K(s,dt).这就是联合概率的 disintegration（析取，或测度分解）。它把共同的实验拆成：先在哪里出现观察，再在这个观察下怎样选择结果。
对任意非负可测 h，因此有
\int h(s,t)\,\Gamma(ds,dt)
=\int_S\int_T h(s,t)K(s,dt)\,\mu(ds).这不是只对矩形成立的形式等式，也没有要求 \Gamma 有某个乘积长度密度。
还可以沿一个一般观察映射切分。设原状态空间 E 标准 Borel，P 为其概率，T:E\to S 为进入标准 Borel 空间的可测观察。令 \mu=T_*P，为“原状态给定观察”构造核 \kappa(s,dx)。则
P(A)=\int_S\kappa(s,A)\,\mu(ds).而在 \mu-几乎每个 s 上，\kappa(s,\cdot) 确实集中在切片 T^{-1}\{s\} 中。
这个支撑结论也需要证明。取 S 的一个可数、能分开点的 Borel 生成类 C_n。因为 \mathbf1_{\{T\in C_n\}} 已经能被观察读出，
\kappa(s,T^{-1}C_n)=\mathbf1_{C_n}(s)
\quad\mu\text{-a.e.}对全部 n 除去同一个零集。对其余每个 s，在 \kappa(s,\cdot)-几乎每个 x 上，T(x) 与 s 对所有这些问题作出相同回答，因此 T(x)=s。这正是
\kappa(s,T^{-1}\{s\})=1
\quad\mu\text{-a.e.}这里不能随意把“几乎每个”擦掉。有些观察值根本没有原状态对应；在边缘零集上的核也仍然可以有多种版本。
10.13.1 如果原测度不是概率
沿用上一节的假设：E,S 为非空标准 Borel 空间，T:E\to S 可测。若 P 是 E 上的非零 \sigma-有限测度，并且边缘 \mu=T_*P 也 \sigma-有限，仍可得到相对于 \mu 的概率核析取。
先选处处正、有限的可测 w，使 \int w\,dP=1。方法是把空间分成有限测度片段，逐片给予足够小的正权重，再归一化。令 R=wP，它是概率。对 R 作刚才的析取，得到概率核 R_s；它的边缘 \mu_R 与 \mu 等价，且
g=\frac{d\mu_R}{d\mu}>0
\quad\mu\text{-a.e.}这里可以选择非负可测的密度代表；由于 \mu_R 总质量有限，g 还在 \mu-几乎处处有限。令 C_j 为上一节使用的可数分离生成类，保留满足
0<g(s)<\infty,\qquad
R_s(T^{-1}C_j)=\mathbf1_{C_j}(s)\quad\text{for every }j的状态，组成可测集合 G_0。每个条件的例外集对 \mu_R 为零；等价性使其对 \mu 也为零，因此 \mu(S\setminus G_0)=0。在 G_0 上，每一份 R_s 都集中于对应切片；这是一套同时适用于所有待积分事件的状态，不是为每个事件重新选择零集。
在 G_0 上定义暂时可能取无穷总质量的核测量
\kappa(s,A)=g(s)\int_A\frac1{w(x)}\,R_s(dx).在 G_0 外先统一放固定点质量 \delta_{x_0}，其中 x_0\in E 固定。
核积分与换权公式保证其可测，并且
\int_C\kappa(s,A)\,\mu(ds)
=\int_{T^{-1}C}\mathbf1_A(x)\frac1{w(x)}\,R(dx)
=P(A\cap T^{-1}C).上式的换权在 G_0 上使用切片支撑，其余状态是共同的边缘零集，不影响积分；正、有限的 g 也避免了无穷与零的未定义相乘。
取 A=E，令 h(s)=\kappa(s,E)，得到 \int_C h\,d\mu=\mu(C) 对每个可测 C 成立。要从这里得到归一化，先用有限 \mu-质量的集合 S_m 可数覆盖 S。在每个 S_m 上，这个积分有限，故 h 几乎处处有限；有限密度的唯一性再给出 h=1 几乎处处。对全部 m 合并例外，仍只有一个可测零集。
现在只在可测满测度集 G_0\cap\{h=1\} 保留上面的核，在其余状态上对整份测度统一改成 \delta_{x_0}。于是对每个状态都得到概率，对每个事件都保持参数可测，重建积分与几乎处处的切片支撑也保留下来。这一步不能变成“对每个事件各自把坏值改掉”，否则会重新遇到第10.1节的不相容。
若另有一份这样的析取，在有限边缘质量片段上比较事件积分，便能对每个固定的结果事件得到几乎处处相等；再用 E 的可数生成 \pi-系统合并零集，以概率测度的唯一性恢复全部事件。因此这里的唯一性同样是：除去一个共同的 \mu-零集后，两份概率核作为整份测度相同，不是每个零概率观察值都有唯一的点态答案。
两个 \sigma-有限性条件不能混为一个。比如 P 是实线上的长度，而 T 恒等于同一个观察值；边缘便在那个值上有无穷质量。若想用相对于这个边缘的概率核还原长度，[0,1] 的质量只能成为0或无穷，不可能是1。原空间 \sigma-有限，并不能保证这个观察后的边缘也 \sigma-有限。
10.14 Bayes 公式在哪里重新出现？
假设联合概率相对于 \alpha(ds)\beta(dt) 有非负密度 p(s,t)，其中基准测度 \alpha,\beta 为 \sigma-有限。令
m(s)=\int_Tp(s,t)\,\beta(dt).它是边缘关于 \alpha 的密度。在 0<m(s)<\infty 的地方，
K(s,dt)=\frac{p(s,t)}{m(s)}\,\beta(dt)是一份概率；其余地方对边缘概率为零，可以放固定点质量。核积分立即验证析取等式。这就是条件密度公式的适用条件，而不是所有条件分布的定义。
例如，在三角形 0<y<x<1 上取联合密度2。第一坐标的边缘密度为 2x，所以在 0<x<1 上，第二坐标给定第一坐标的条件概率是
K(x,dy)=\frac1x\mathbf1_{(0,x)}(y)\,dy,
\qquad \mathbb E[Y\mid X]=\frac X2.观察到 x 后，原来的三角区域变成一条竖直切片；除以切片的总质量，使它重新成为概率。我们终于给“在剩下的可能性中重新平均”找到了适用于连续观察的确切表达。
但这个表达建立在联合密度存在的假设上。若 Y=X 几乎必然，联合概率集中在对角线上，就没有二维长度密度；条件核却非常清楚：K(x,\cdot)=\delta_x。
第二章的后验也可以这样看。用先验选择参数，再用观测核选择记录；联合概率已经由第10.9节建立。若观测核有似然密度 \ell(\theta,z)，反向析取便给出
\Pi(d\theta\mid z)
=\frac{\ell(\theta,z)\Pi(d\theta)}
{\int\ell(a,z)\Pi(da)}在分母正且有限的观察值上成立。前向实验和反向推断不是两份互不相关的概率，而是同一份联合测量的两种展开。
10.15 同一条对角线，为什么能留下两个不同的条件答案？
“给定零概率事件”仍有一种容易误解的说法：既然有了正则条件分布，似乎一个零事件本身就拥有了唯一的内部概率。
在闭单位正方形 [0,1]^2 上取二维均匀概率，令坐标 X,Y 相互独立、均匀。在 X>0 处，先写两个观察：
D=Y-X,\qquad R=\frac{Y-X}{X}.差值观察 D 在整个正方形上都有定义；相对差值则还要补上边界。我们明确约定
R=\begin{cases}
(Y-X)/X,&X>0,\\
Y,&X=0.
\end{cases}这样 R 在全部样本空间上可测且有定义；在边界取 Y，还使 R=0 与 D=0 在整个正方形上都恰好是同一条对角线。边界 \{X=0\} 的概率为零，所以这项补定义不改变下面任何联合密度或条件分布计算。
因为 X>0 几乎必然，D=0 与 R=0 都描述同一条对角线。然而两种观察把附近的点组织成不同的切片。
对固定 x 作一维代换 y=x+d，得到 (X,D) 的联合密度
p_{X,D}(x,d)=\mathbf1_{\{0<x<1,\ 0<x+d<1\}}.在 d=0 采用由此公式自然给出的条件版本，X 在 (0,1) 上均匀。
若改作 y=x(1+r)，固定 x 时 dy=x\,dr。因此
p_{X,R}(x,r)=x\mathbf1_{\{0<x<1,\ 0<x(1+r)<1\}}.在 r=0 采用相应的条件版本，X 的密度却是 2x，平均为 2/3，而不是 1/2。两份公式也都能由相应观察落在0附近的小区间时的条件分布取极限得到；分母在0附近非零，有限区域上的控制收敛保证这一点。
没有一份概率算错。固定差值的窄带，与固定相对差值的窄带，对不同 x 保留了不同厚度；后者的厚度带着因子 x。观察实验不同，条件分布就可以不同。
而且，即便固定一种观察，单个零概率观察值上的版本仍可修改。核理论保证的是可测地组织整体、以及边缘几乎处处的唯一性，不是凭空使每个零事件都具有一个由事件本身决定的答案。
这个现代教学例子体现了通常所称 Borel 条件化悖论中的机制，不是复述 Borel 原文的具体几何模型。Kolmogorov 原著第五章也讨论条件概率与 Borel 悖论；此处的方形计算，是为了把“相同零集”和“相同观察”之间的区别直接显示出来。
10.16 两次选择的规则，什么时候真的能够接在一起？
若 K 是从 S 到 T 的核，L 是从 T 到 U 的核，可以定义
(KL)(s,A)=\int_TL(t,A)K(s,dt).核积分保证它关于 s 可测；对每个 s，非负积分与可数可加性又保证它是一份概率。这是核的复合。
对非负函数，反复使用第10.9节的积分公式即可证明结合律。它描述一场清楚的顺序实验：先从 s 选择 t，再只根据 t 选择 u。
“只根据 t”不能省掉。若现有世界中的 X=Z 是一枚公平硬币，而 Y 是另一枚独立公平硬币，则 Y 给定 X 均匀，Z 给定 Y 也均匀；把这两个核复合仍然均匀。但 Z 给定 X 是点质量 \delta_X，并不均匀。
所以，不能把任意三个变量的两个条件核接起来，就宣称得到第三个条件核。对于原来已有的联合世界，需要说明 Z 给定 (X,Y) 的规律只依赖 Y，或者具有足够的信息嵌套关系。对于由 \mu、K、L 新生成的顺序实验，这项性质则被明确放进了模型。
第四章的 Gaussian 运动给出一份特别重要的复合规律。对 s,t>0，完成平方可得
\frac{(y-x)^2}{s}+\frac{(z-y)^2}{t}
=\frac{s+t}{st}\left(y-\frac{tx+sz}{s+t}\right)^2
+\frac{(z-x)^2}{s+t}.将两个 Gaussian 密度相乘并对 y 积分，第一项给出归一化因子，留下
K_sK_t=K_{s+t}.先运动 s 的时间，再从当前位置运动 t，与直接运动 s+t 在位置分布上相容。随机运动与热传播的结构联系，现在成为概率核的复合等式。不过，位置转移规律相容，仍不等于已经证明连续路径存在；第四章留下的路径问题不会被一个核符号自动解决。
10.17 能否用同一种简单随机源，驱动所有这些选择？
前面的分布函数构造其实已经给出线索：一枚均匀随机数，经适当的可测变换，可以生成任何实值概率。
这个变换还能随参数一起可测地改变。设 K 是从任意可测参数空间 S 到实线的概率核，写
F(s,q)=K(s,(-\infty,q]),\qquad
Q(s,u)=\inf\{q\in\mathbb Q:F(s,q)\ge u\},\quad0<u<1.对每个 s，它有刚才的分位数性质。联合可测性来自
\{(s,u):Q(s,u)<a\}
=\bigcup_{q\in\mathbb Q,\ q<a}\{(s,u):u\le F(s,q)\}.右边是可数个乘积可测集合的并。所以这不是只对每个固定参数分别存在的抽样方法，而是一份对状态和随机数共同可测的方法。
若结果空间 T 为非空标准 Borel 空间，先用第10.11节的地址 b:T\to B\subseteq[0,1] 推送核，作实值分位数，再通过 b^{-1} 返回。
分位数有时可能在零长度的一些 u 上落到 B 外。因为 B 是 Borel 集，坏点集合 \{(s,u):Q(s,u)\notin B\} 联合可测；在其上统一改取固定 t_0。对每个 s，坏截面的均匀概率为0，因此改动不会改变任何目标概率。
我们于是证明了核的随机化表示：存在可测 \Phi:S\times(0,1)\to T，使每个固定 s 上
\operatorname{Law}(\Phi(s,U))=K(s,\cdot),
\qquad U\text{ uniform on }(0,1).在这里，每个状态都使用同一种均匀随机源。真正改变的是可测的选择规则。概率核因此不仅描述“可能发生什么”，还给出怎样在一个共同空间中实现这些可能性。
10.18 当下一次实验依赖整个过去，无限记录还存在吗？
第八章已经允许每次硬币机会依赖前面的记录。现在把硬币换成一般的非空标准 Borel 状态空间 E_0,E_1,\ldots。
给定初始概率 \mu_0，以及从 E_0\times\cdots\times E_n 到 E_{n+1} 的概率核
K_n(x_0,\ldots,x_n;dx_{n+1}).我们希望有一个无限实验，恰好按这些规则逐步展开。这个问题的标准 Borel 版本，是 Ionescu–Tulcea 构造的一种形式。这里将它实际构造出来，而不把存在写进“依次抽样”四个字里。
由第八章，存在独立均匀序列 U_0,U_1,\ldots。把 \mu_0 看成来自单点参数空间的核，用随机化表示选出 X_0=\Phi_0(U_0)。再递归定义
X_{n+1}=\Phi_{n+1}(X_0,\ldots,X_n,U_{n+1}),其中 \Phi_{n+1} 实现核 K_n。每个 X_n 都是前面有限个均匀坐标的可测函数，递归因而有共同所在。有限个标准 Borel 空间的乘积仍是标准 Borel，可以由第八章的 Polish 实现或前面的可数地址直接验证。
由于 U_{n+1} 独立于前面的均匀坐标，Tonelli 积分在固定过去后给出
\mathbb E[h(X_{n+1})\mid\sigma(X_0,\ldots,X_n)]
=\int h(y)K_n(X_0,\ldots,X_n;dy)对所有非负或可积 h 成立。严格地，只需乘上任意有界过去可测权重，先对 U_{n+1} 积分，再与第九章的定义比较。
将整条 (X_0,X_1,\ldots) 推到乘积空间，便得到所需概率。其有限窗口由反复核积分唯一决定：
\mu_0(dx_0)K_0(x_0,dx_1)\cdots
K_{n-1}(x_0,\ldots,x_{n-1};dx_n).因此另一个满足相同初始规律与条件规则的实验，在所有柱集上都相同，由 \pi-\lambda 唯一性，其整条记录的分布也相同。这证明了本节标准 Borel 范围中的存在与分布唯一性；一般可测状态空间上的 Ionescu–Tulcea 定理有更一般的专门扩张证明，本节不拿这里的编码论证替代那个更广的版本。 此处柱集上的有限概率唯一性及 σ-有限扩张所需的共同有限覆盖，分别见唯一性补证。
若 K_n 只依赖最后一个状态，过去便能被压缩成当前状态，Markov 结构由此出现。若它依赖全部历史，我们仍有合法的无限实验，只是不能把它误称为具有相同 Markov 性质。
第一章的公平选择、第二章的未知参数、第四章的位置转移和第八章的无限记录，至此进入了同一种语言：先有明确的联合规则，再以可测的核安排每一步，而不是先画一条看起来随机的记录，再把概率存在当成当然。
第十章结语：平均背后，终于站起了一整个世界
最初，我们只想知道桌上那笔金币应该怎样分。
随后，我们发现一份公平价格必须尊重已经知道的信息。今天，这份价格背后的整场实验也获得了清楚的结构：测度之间的密度重新分配权重，奇异部分标出基准无法看见的质量，条件分布把观察后的所有事件组织成一份概率，而析取把联合世界沿观察重新展开。
这里最微妙的一步，不是写出某个分式，而是让无数个分别正确的答案一起正确。有理刻度与可数地址，使那些无法直接相除的零概率观察，仍能生活在一套可测、相容的规律中。
我们没有因此知道未来。给定现在的位置，Gaussian 核仍然只是未来位置的分布；连续路径的存在、运动第一次越过边界的时刻，以及更细的路径性质，还在后面等待我们。概率核的作用，是先让“按照目前知道的情况继续实验”成为合法的数学。
不过，当分布可以沿着核反复生成，新的问题也随之来到眼前：我们如何识别这些分布？两份看起来不同的构造，怎样判断它们其实给出同一规律？许多小的、独立的位移相加时，哪些计算能够解释第三章那条一再出现的钟形曲线？
下一章，我们将给分布寻找一组新的读数。随机变量先经过指数函数，概率便成为关于频率的函数；独立的相加将转化成相乘。那条道路会把早先的 Gaussian 极限带回严格的现代语言，也为更一般的极限规律准备工具。
我们已经知道怎样生成一个随机世界。接下来，要学会怎样听懂它留下的分布。
历史与进一步阅读
Nikodym，Sur une généralisation des intégrales de M. J. Radon，Fundamenta Mathematicae 15（1930），131–179：原刊与 DOI。本章的带标签混合实验、由条件平均导出密度的路线以及全部教学例子，均是现代数学重建，不归作论文原有的叙事或原证明。
Kolmogorov，Grundbegriffe der Wahrscheinlichkeitsrechnung，第五章：原书记录。本章沿用其中确实存在的条件化与零概率观察问题，不把本书的方形例子说成原书的具体算例。
现代核、条件分布与随机序列的理论范围可对照 Kallenberg 第三版官方目录；联合分布与条件核的课程入口可参阅 Berkeley 概率论课程记录。本章自己证明了使用的有限与 \sigma-有限密度结论、标准 Borel 编码、条件核存在、析取及所述范围内的顺序构造，不把标准 Borel 与任意可测空间的结论混作同一个范围。