返回分节阅读
第十七章：只记住现在，就足以决定未来吗？
在一个格点上，向左与向右的机会不取决于此前绕过几条街。重新站在同一处，好像就重新得到了同一份未来。
这不是“随机”二字带来的保证。若硬币的偏向藏着一个未知参数，先前的结果会改变我们对下一次的判断；当前位置未必记录了全部有用信息。要让一次返回真正成为重新开始，必须找出什么能够被现在概括，什么仍藏在过去。
17.1 状态不是屏幕上碰巧显示的一个数
如果一台屏幕只显示最近一次投掷是0还是1，保留这个“现在”看起来已经很节省，也很合理：给定硬币本身的偏向，每次投掷原本就是独立的。检验这份记录够不够，不必先提出抽象定义。只需寻找两份显示相同、却要求不同下一步预测的过去。
开头那枚偏向未知的硬币，可以把“状态不够”变成一次可核算的失败。先以相同概率选 \Theta=1/4 或 3/4，给定它以后独立投掷，记成功指标为 B_1,B_2,\ldots。看过两次结果00时，较大偏向的后验概率是 1/10；看过10时，它却是 1/2。因此
P(B_3=1\mid B_1B_2=00)=\frac3{10},\qquad
P(B_3=1\mid B_1B_2=10)=\frac12.这两个后验数可以直接核算。先验各占一半，在Bayes比值中约去；00在较大偏向下的似然较小，10在两种偏向下的似然相同，分别给出
\frac{(1/4)^2}{(1/4)^2+(3/4)^2}=\frac1{10},\qquad
\frac{(3/4)(1/4)}{(3/4)(1/4)+(1/4)(3/4)}=\frac12.两段记录的当前值都为0，下一步预测却不同。“给定参数后独立”的规则并未失效，而是我们没有把观察中获得的参数信息放进状态。
失败发生在我们压缩记录的那一步，而不是在硬币突然获得了某种物理记忆。那份隐藏的偏向一直没有改变；改变的是观察者根据旧记录形成的判断。相同的屏幕值把两种不同的信息状态合并了。于是值得精确研究的问题，不是笼统地问实验“有没有记忆”，而是哪些关于过去的信息必须带进现在，才能正确预测未来。
“现在已经足够”应当意味着：知道完整历史以后，对下一步的任意有界读数所作的条件平均，仍能只用当前状态计算。把这一要求写出来，才得到下面的定义。它没有要求过去与未来完全独立，而是要求过去所提供的预测已经被当前状态保存。
设适应过程 X_n 取值于可测空间 (E,\mathcal E)。给定概率核 P(x,dy)，相对于滤过 \mathcal F_n 的齐次Markov性质是：对每个有界可测 f，
E[f(X_{n+1})\mid\mathcal F_n]=Pf(X_n),\qquad Pf(x)=\int f(y)P(x,dy).齐次意味着同一核适用于所有时刻；非齐次时可以使用 P_n。核本身包含两个不同要求：每个 x 给出概率测度，每个事件的概率又随 x 可测。只有这两个要求同时成立，右边才是一项合法的随机判断。
这个性质相对于指定滤过成立。若滤过提前包含未来结果，原本的链未必仍为Markov链。若只对自然滤过成立，也不能擅自对所有更大的滤过声称成立。
17.2 把过去压缩进足够的现在
也不必永远保留整段比特记录。令 q_n=P(\Theta=3/4\mid B_1,\ldots,B_n)，其下一次成功概率为 w(q_n)，其中 w(q)=1/4+q/2。Bayes公式给出成功与失败后的两个更新：
q\longmapsto T_1(q)=\frac{3q}{1+2q},\qquad
q\longmapsto T_0(q)=\frac{q}{3-2q}.于是后验状态在 [0,1] 上具有Borel概率核
K(q,da)=w(q)\delta_{T_1(q)}(da)+(1-w(q))\delta_{T_0(q)}(da).过去并没有被否认；它被压缩进一个足以计算下一步预测和后验更新的量。这个例子也说明，独立实验的混合未必仍是独立实验，而观察过程的投影未必保留Markov性。
如果仍要保留对下一次投掷的原有预测，后验还能继续压缩吗？在这个具体模型中，w(q)=1/4+q/2 严格递增。若要求由压缩状态通过同一个预测函数恢复原来的下一步成功概率，就不能把两个不同的可达后验值合成同一个状态。因此这份后验不是随手添上的标签：它区分的差别已经会改变一个可观察实验的概率。这里不否认舍弃预测信息以后可以另造一条更粗的Markov链，也没有断言一般模型都存在同样简单的最小状态，或一种成功的压缩是唯一可能的表示。
取独立公平比特 U,V，令 X_0=U,X_1=V,X_2=U。三项都有同一公平边缘，相邻两项也独立。但是知道 X_0,X_1 就知道 X_2，而只知道 X_1 时仍各有一半机会。
因此，“每时刻的分布相同”与“过去没有额外预测能力”相距很远。甚至相邻两项的联合分布也未必足够。适当扩充状态则能保存被丢掉的记忆：把所需的历史记录作为状态的一部分，常可得到更大的Markov系统。这是建模选择，而不是任意投影都保留Markov性的定理。
第十五章的条件独立给出精确语言。由于 \sigma(X_n)\subseteq\mathcal F_n，上节等式意味着 \sigma(X_{n+1}) 与 \mathcal F_n 在 \sigma(X_n) 下条件独立。反过来，若这种条件独立成立，而且指定核确实给出了给定 X_n 的下一步条件分布，便恢复Markov等式。一般可测空间中，核的存在不能从条件期望的存在自动推出；本章始终把核作为数据或明确构造出来。
把条件独立的等价关系展开，可以看见“没有额外预测能力”的确切含义。记 \mathcal G=\sigma(X_n)，取有界 \mathcal F_n-可测 Y。Markov等式和塔式法则给出
E[Yf(X_{n+1})\mid\mathcal G]
=Pf(X_n)E[Y\mid\mathcal G],\qquad
E[f(X_{n+1})\mid\mathcal G]=Pf(X_n).这就是条件独立所需的乘积分解。反过来，若乘积分解成立且下一步的给定状态条件律由 P 表示，再取期望，就有
E[Yf(X_{n+1})]=E[YPf(X_n)].它对所有这样的 Y 成立，恰好是给定全部 \mathcal F_n 的条件期望定义。条件独立并不是未来与过去完全无关；两者仍可通过当前状态相关，只有在当前状态已知以后，过去才不再增添预测。
因此，Markov性质首先是一项关于模型、状态和可用信息的判断。它既不是说现实世界绝对没有过去，也不是说我们记录得越少就越接近本质。选择状态的工作，是发现哪些差别会影响后续实验；把无关细节丢掉，与把仍有预测作用的信息丢掉，是两件相反的事。
17.3 多走几步，核怎样相乘
定义 P^0(x,A)=\mathbf1_A(x)，并令
P^{n+1}(x,A)=\int P^n(y,A)P(x,dy).核积分的可测性已在第十章证明。塔式法则与归纳给出 E[f(X_{n+r})\mid\mathcal F_n]=P^rf(X_n)。重复积分的结合律于是得到Chapman–Kolmogorov方程
P^{r+s}(x,A)=\int P^s(y,A)P^r(x,dy).结合律先对非负函数用Tonelli，再对有界有符号函数分正负部。这不是将随机矩阵的形式乘法不加证明地搬到一般空间。
两步公式可以展示这里的逻辑，而不是只把核的幂当作记号。对有界可测 f，
E[f(X_{n+2})\mid\mathcal F_n]
=E[Pf(X_{n+1})\mid\mathcal F_n]
=P(Pf)(X_n).第二次应用Markov性质合法，正因为核积分已经保证 Pf 仍是有界可测函数。一个单步规则能反复使用，依靠的不只是独立般的直觉，还包括这个封闭性。Chapman–Kolmogorov则说明，把同一段未来分成不同的时间块计算，不应得到不同的概率。
对整个未来的有限片段，同样逐次条件平均。若 H 是未来 r 项的有界可测函数，定义 Q_rH(x) 为从 x 开始的 r 次核积分，就有
E[H(X_{n+1},\ldots,X_{n+r})\mid\mathcal F_n]=Q_rH(X_n).例如对两个有界可测函数 g_1,g_2，先消去最远的时刻，得到
E[g_1(X_{n+1})g_2(X_{n+2})\mid\mathcal F_n]
=P(g_1\,Pg_2)(X_n).乘积函数给出了所有矩形事件；它们生成未来片段的乘积σ-代数。保有界单调极限的函数类因此覆盖全部有界可测读数。这一步把关于各个坐标的判断，提升为关于整个有限片段的判断，并不把一般可测函数误当成有限个乘积的代数和。
先证乘积型指标函数，有限线性组合后用函数单调类推广。于是现在概括的不只是下一步，而是每一个有限长度的未来实验。
17.4 转移规则必须真正拥有一个共同空间
给定初始概率 \nu 与核 P，有限路径的概率应为
\nu(dx_0)P(x_0,dx_1)\cdots P(x_{n-1},dx_n).这还只是有限实验。第十章在标准Borel状态空间上通过随机化完成了顺序构造；现在若允许任意可测空间，就不能默默沿用那个编码。一般有限核积由10.9提供，但它本身还不等于可数无限构造；这里输入的核须在每个前缀上都是概率核，不能只给出若干几乎处处的条件期望版本。
T-SEQUENTIAL给出一般可测空间的完整可数构造。它先在柱集代数定义有限积分，再证明空交连续性。证明的关键非常具体：若递减柱集的概率始终为正，便能用未来条件成功概率逐个选择坐标，拼出一条落在全部柱集中的记录，和空交矛盾。选择不必成为前缀的可测函数，因此这里不需要一般空间没有保证的可测选择定理。
这与从既有过程提取条件分布是两个方向。现在的输入核对每个状态都已给定，有限积分以及空交连续性负责把它们实现为过程；若先有一个一般空间上的过程，条件期望只给出逐事件的版本，并不会自动拼成逐点可数可加的核。标准Borel结构解决的是后一个方向中的重要存在性困难，顺序构造不需要将它作为前一个方向的附加条件。
也应留意等式的量词：每个固定的有界可测测试函数都有自己的几乎必然恒等式。在没有可数决定类的一般空间上，不额外宣称所有测试函数共用一个零集；有限积分所定义的核本身则在每个输入点都是概率测度。
扩张以后，核积分在所有前缀事件上的恒等式，恰好验证Markov条件平均。因此存在性与性质都已经建立。此处只使用可数顺序实验，不借未来连续过程或不可数扩张。
17.5 玩家随机停下以后，未来还认得现在吗
令 T 为几乎必然有限的停止时刻。对 A\in\mathcal F_T，将它按 T=n 分片；每一片属于 \mathcal F_n。固定时间的未来公式给出
E[\mathbf1_{A\cap\{T=n\}}H(X_{T+1},\ldots,X_{T+r})]
=E[\mathbf1_{A\cap\{T=n\}}Q_rH(X_T)].有界性保证可对所有 n 求和，得到
E[H(X_{T+1},\ldots,X_{T+r})\mid\mathcal F_T]=Q_rH(X_T).这就是离散强Markov性质。若 T 可能无穷，等式只在 T<\infty 上理解：对 A\cap\{T<\infty\} 求和，而不编造 X_\infty 以后的步子。对于整个可数未来，先在柱集上成立，再用单调类推广。
停止位置本身也需要可测。对 B\in\mathcal E，在 \{T<\infty\} 上，
\{X_T\in B,T<\infty\}
=\bigcup_{n\ge0}\{T=n,X_n\in B\}.将这个并集与 \{T\le m\} 相交，只剩 n\le m 的有限个 \mathcal F_m 事件，因此它属于停止σ-代数。求和时左右两边绝对值的总预算都不超过 \|H\|_\infty P(A\cap\{T<\infty\})，所以分片不是形式替换，而是一次合法的可数积分分解。
整个无限未来也可以有精确的核。对每个 x，用T-SEQUENTIAL从 x 出发得到未来序列律 R_x。使 x\mapsto R_x(C) 可测的路径事件 C 构成λ类，并包含全部有限柱集，故π–λ定理将可测性推广到整个路径乘积σ-代数。再对条件平均恒等式作同样的单调类推广，便能在停止时刻使用任意有界的可测未来路径读数。这里始终是可数坐标信息，没有悄悄加入更大的路径事件集合。
这份证明没有使用可选抽样来断言独立；它使用停止σ-代数分片与原Markov核。连续时间没有这样一个覆盖全部实数时刻的可数分片，一般强Markov性质在那里需要额外正则结构。
17.6 有路可走，与迟早会走到，是两件事
知道从现在怎样走下一步，还没有告诉我们走很久以后会到哪里。为了把这个问题变成可以计算的对象，以下先取有限或可数状态空间，配离散σ-代数，记转移矩阵为 p_{ij}。在这时，核可以画成一张有向图：只把正概率的转移画成边。
一条有限路径发生的概率，是沿途边概率的乘积；所以从 i 到 j 存在正概率路径，当且仅当某个 n\ge0 满足 p^{(n)}_{ij}>0。记为 i\to j，并允许零步路径。Chapman–Kolmogorov使可达性传递：两条正概率路径可以拼接。若同时 i\to j 与 j\to i，记 i\leftrightarrow j。反身性、对称性与传递性说明，相互可达把状态分成了沟通类；全空间只有一个类时，链称为不可约。
这些定义先把不可逆的离开分辨出来。一个沟通类若没有向类外的正概率转移，称为闭类：进入以后不能离开。把每个类缩成一个点，得到的图不含有向环，否则环上的类本来就应合为一类。有限图沿出边走下去必有终点，因此每条有限链至少有一个闭类，而且从每个状态都有路通向某个闭类。
“有路通向”还不等于“几乎必然进入”。有限性恰好允许补上这一步。令 B 为全部闭类之并，H=\inf\{n\ge0:X_n\in B\}。若类外有状态，从每个类外状态各选一条到 B 的正概率路径。状态有限，可把这些路径的长度统一控制在某个 L\ge1 内，并把它们的概率统一下界为 \eta>0。不要求在第 L 步恰好命中；沿选定路径在此前进入，就已成功。
P_\mu(H>(r+1)L)\le(1-\eta)P_\mu(H>rL)
\le(1-\eta)^{r+1}.第一步是在 \{H>rL\} 上给定 \mathcal F_{rL}，再使用当前状态的那条路径；归纳给出第二步。于是 H<\infty 几乎必然，且尾和给出 E_\mu H\le L/\eta。若一开始所有状态就在 B，则 H=0，无需这个估计。我们没有把图上的可达性直接当成概率1，而是利用有限多个出发点取得了统一机会。
在无限空间里，这个统一机会可能消失。可达甚至相互可达也不是常返：存在走回原点的路线，仍可能以正概率永远不走这条路线。后面需要计算的返回问题，不能只靠画出箭头回答。
17.7 如果分布会稳定，稳定下来的应是什么
先不假定稳定一定发生。若有限状态链的分布 \mu P^n 真趋于一个概率向量 \pi，下一步仍按同一个矩阵演化，有限求和允许取极限，必有 \pi P=\pi。因此应先寻找这种被一步演化保留的分布，称为不变分布。这个条件是可能极限必须满足的方程，不是已经证明存在极限。
若直接从不变分布出发，所有平移后的有限路径都有原来的分布。具体地，路径 i_0,\ldots,i_r 的概率是 \pi_{i_0}\prod_{k<r}p_{i_ki_{k+1}}；对平移前多出来的第一个状态求和，用 \sum_j\pi_jp_{ji_0}=\pi_{i_0}，就恢复同一个乘积。这样的过程是平稳的，单条路径却仍可以不停跳动。
有限链总能找到一份不变分布，即使逐时分布尚未收敛。任取初始分布 \nu，把前 N 个时刻的分布平均：
\mu_N=\frac1N\sum_{k=0}^{N-1}\nu P^k,\qquad
\mu_NP-\mu_N=\frac{\nu P^N-\nu}{N}.右边每个坐标都趋于0。左边的 \mu_N 始终属于有限维概率单纯形：逐坐标抽取收敛子列，所得非负坐标之和仍为1。对有限矩阵乘法取极限，便得到一个不变概率。平均消去了两个端点之间的差，但没有消去“平均分布收敛”和“每一步分布收敛”的区别。这里也只是分布的平均，尚未证明一条路径上的经验频率定理。
不可约性使这份概率处处为正：若 \pi_i>0 而 p^{(n)}_{ij}>0，则 \pi_j=(\pi P^n)_j\ge\pi_ip^{(n)}_{ij}>0。任取另一份不变概率 \rho，它也处处为正。要证明两者相同，比较比值 r_i=\pi_i/\rho_i。不变方程给出
r_i=\sum_j\frac{\rho_jp_{ji}}{\rho_i}\,r_j,\qquad
\sum_j\frac{\rho_jp_{ji}}{\rho_i}=1.比值在每个状态都是一份加权平均。有限性保证它取得最大值；平均等于最大值时，每个正权项也必须最大。权重的正边是原图的反向，反向图仍不可约，所以这个最大值沿反向路径传播到全部状态。故比值为常数；两份概率总质量都是1，常数只能是1。这就完整证明了有限不可约链的不变分布唯一性。这里产生的反向权重稍后还会获得时间倒放的解释。
这份证明不能原封不动移到无限空间。在非负整数上的确定右移 i\mapsto i+1，从0出发的平均分布给前 N 个点相等权重。每个坐标都趋于0，坐标极限却不再是概率。不变方程也先迫使0的质量为0，再依次迫使所有坐标为0。在整数直线的对称游走中，不变向量满足 2\pi_j=\pi_{j-1}+\pi_{j+1}；相邻差必须恒定，全部整数上的非负性迫使它是常数列，非零常数又不可求和。这两个例子分别让我们看见质量逃离有限窗口，以及不变测度无法归一化的问题。
17.8 不变的权重，仍可能带着一只周期时钟
两个状态每一步必换到另一处，已经不可约，也有唯一不变分布 (1/2,1/2)。可是从一个确定状态出发，分布始终在两个点质量之间交替。障碍不在空间是否沟通，而在返回所允许的时间。
对有正概率正时返回的状态 i，把所有可能返回时长的最大公约数记为
d(i)=\gcd\{n\ge1:p^{(n)}_{ii}>0\}.它称为周期；d(i)=1 称为非周期。最大公约数保留的是拼接路径后仍无法打破的时间格子，而不是所有可能返回时长中最短的一项。若 i\to j 和 j\to i 的正路径长度为 a,b，则 j 的任一返回时长 n 使 a+n+b 与 a+b 都成为 i 的返回时长。因此 d(i) 整除 n；交换两状态，得到同一沟通类的周期相同。对同一状态的比较是平凡的；不同状态时 a,b 可取正数。
有限不可约链中每个状态都有正时返回。固定基点 o，把到 j 的任一正路径长度对共同周期 d 取余，记为 r(j)，并允许从 o 到自身的零步路径。这个余数不依赖路径：给两条路径接上同一条 j\to o 路径，两个返回长度之差被 d 整除。于是
C_\ell=\{j:r(j)=\ell\},\qquad
p_{ij}>0\ \Longrightarrow\ r(j)=r(i)+1\pmod d.这些类都非空。沿一条返回 o 的正概率回路走过前 d 个时刻，就遇到全部余数。每一步只能从 C_\ell 到 C_{\ell+1}；不变性遂使这些集合有相同的 \pi 质量，因而各为 1/d。从固定状态出发，第 n 步的全部质量却集中在唯一的当前相位。若 d>1，取该相位为事件，当前概率为1、平稳概率为 1/d，差至少 1-1/d，不可能趋零。
原地等待是打破周期的一种办法：不可约类中只要某处有正概率自环，共同周期就是1。但它不是必要条件。例如下面三状态链没有自环，0却能分别在2步与3步返回：
P=\begin{pmatrix}
0&1&0\\[2pt]
\tfrac12&0&\tfrac12\\[2pt]
1&0&0
\end{pmatrix},\qquad \pi=(\tfrac25,\tfrac25,\tfrac15).图是不可约的，2与3的最大公约数为1；右边的不变分布直接由流入方程和归一化检验。真正重要的不是每一步都可以停下，而是可以拼接的回路是否还共同受某个更粗的时钟约束。
17.9 从“没有共同周期”到“足够久以后都有路”
非周期排除了一项障碍，却还需要一个正面结论。仅知道每对状态之间各有一条路，没有理由让这些路长度相同。分布要在同一个观察时刻相比较，我们必须让不同的路能够补足到统一时长。
先在一个状态 o 研究返回。其返回时长集合对相加封闭，因为回路可以拼接。若最大公约数为1，可以从中选出有限个 a_1,\ldots,a_q 仍具有最大公约数1：依次加入时长时，最大公约数是下降的正整数，达到全体的最大公约数后便停止。下面真正证明这些时长的非负整数组合包含全部充分大的整数。
对 a_1 取余。非负组合所得的余数包含0且对加法封闭；有限群中，这样的集合也包含各元素的逆元，因为一个元素的某个正整数倍为0。它因而是子群。最大公约数为1使它等于全部余数：整数线性组合的最小正数必须整除每个 a_j，所以这个最小正数为1，故子群含有1。对每个余数 \ell 选一个实际的非负组合 b_\ell 代表它。若 M=\max_\ell b_\ell，则任意 n\ge M，选与 n 同余的 b_\ell，都有
n=b_\ell+k a_1,\qquad k\in\{0,1,2,\ldots\}.把相应回路逐个接起来，其路径概率为正，故 p^{(n)}_{oo}>0 对所有充分大的正整数 n 成立。这一步把最大公约数的定义变成了可用于概率估计的实际路径，而没有把一个数论结论藏在“标准引理”里。
再给每个 i,j 选定 i\to o 与 o\to j 的正概率路径，长度为 u_i,v_j，必要时取零步。状态有限，可以选一个 N\ge1，使 n-u_i-v_j 对所有 n\ge N 和全部 i,j 都落在刚才允许的返回时长中。Chapman–Kolmogorov给出
p^{(n)}_{ij}\ge
p^{(u_i)}_{io}\,p^{(n-u_i-v_j)}_{oo}\,p^{(v_j)}_{oj}>0
\qquad(n\ge N).因此，有限不可约非周期链的某个幂 P^N 所有项都严格为正。反过来，若某个 P^N 全正，则各状态当然沟通；由 P^{N+1}=PP^N 和每行和为1，下一幂也全正。每个状态能在连续的 N,N+1 步返回，周期只能是1。有限性使这两个条件等价；在无限空间不能从逐对的正路径得到一个统一的正下界。
17.10 一块共同的概率，怎样逐渐抹去出发点
现在已经能在同一时刻到达每个状态，但这仍不是分布收敛的证明。关键在于有限多个正数有一个共同下界。它让从不同出发点走来的分布，具有一块完全相同的概率成分。剩余的差异每经过一段同样长的时间，就被压缩一次。
比较的距离沿用第十三章的总变差约定。有限集合 E 上，
\|\mu-\nu\|_{\mathrm{TV}}
=\sup_{A\subseteq E}|\mu(A)-\nu(A)|
=\frac12\sum_{j\in E}|\mu_j-\nu_j|.取 \mu_j-\nu_j>0 的全部坐标，就取得上确界；正负部分之和相消，解释了因子 1/2。它比较的是任一事件的最大概率差，不只是某个选定坐标。对任意转移矩阵 R，三角不等式与行和为1给出
\begin{aligned}
2\|\mu R-\nu R\|_{\mathrm{TV}}
&=\sum_j\left|\sum_i(\mu_i-\nu_i)R_{ij}\right|\\
&\le\sum_i|\mu_i-\nu_i|\sum_jR_{ij}
=2\|\mu-\nu\|_{\mathrm{TV}}.
\end{aligned}演化不能放大这份差异，但可以像两状态交替一样完全保留它。令 s=|E|，取上一节的 K=P^N，并令
\delta=\min_{i,j}K_{ij}>0,\qquad
\varepsilon=s\delta\in(0,1],\qquad u_j=\frac1s.若 \varepsilon<1，减去每行共同拥有的那块均匀质量，再重新归一化：
R_{ij}=\frac{K_{ij}-\varepsilon u_j}{1-\varepsilon},
\qquad K_{ij}=\varepsilon u_j+(1-\varepsilon)R_{ij}.分子非负，行和恰为 1-\varepsilon，所以 R 真是一份转移矩阵。任意两份初始概率在乘上 K 以后，共同的 \varepsilon u 相消。刚才的不放大性质遂给出严格的收缩：
\|\mu K-\nu K\|_{\mathrm{TV}}
\le(1-\varepsilon)\|\mu-\nu\|_{\mathrm{TV}}.有限链收敛定理。 若 P 是有限状态、不可约、非周期的转移矩阵，则存在唯一不变概率 \pi，且对每个初始分布 \mu，\mu P^n\to\pi 在总变差中成立。更精确地，上述 N,\varepsilon 在 0<\varepsilon<1 时满足
\|\mu P^n-\pi\|_{\mathrm{TV}}
\le(1-\varepsilon)^{\lfloor n/N\rfloor}\|\mu-\pi\|_{\mathrm{TV}}.存在性、正性与唯一性已在17.7证明；17.9提供 N，本节给出每块的收缩。写 n=kN+r，0\le r<N，先对 K 反复收缩 k 次，再对剩余的 P^r 用不放大性质，便得到显示的估计。若 \varepsilon=1，每行 K 就是 u，一步块以后完全消去初始差异；\pi K=\pi 又迫使 \pi=u，所以 n\ge N 时已精确等于 \pi。这个单独情形无需把 0^0 塞进估计式。
这也控制所有有界观测量：|\mu P^ng-\pi g|\le2\|g\|_\infty\|\mu P^n-\pi\|_{\mathrm{TV}}。若要观察随后固定的 r 步，可用17.3的未来核把当前分布推前；同样的有限求和估计不会放大总变差。初始状态的影响因此不仅在单个坐标上消退，也在每个固定长度的未来实验中消退。
这些条件各有职责：有限性供给共同时间和共同正下界；不可约性不让不同封闭部分各守自己的未来；非周期性消去无法对齐的时钟。这里的界不追求最优速度，也不是一般状态空间Harris或mixing理论。一般链如何得到相应的小集、返回与收缩条件，仍属于第四十二章；本章已经实际证明的是有限链所需的完整版本。
这份收敛改变的是对出发分布的可辨认程度，并不保证单条路径安定下来。一个最清楚的例子甚至在一步以后就完全遗忘初始分布：
P=\begin{pmatrix}\tfrac12&\tfrac12\\[2pt]\tfrac12&\tfrac12\end{pmatrix},
\qquad \mu P=(\tfrac12,\tfrac12)\quad\text{for every }\mu.从第一步起，有限路径的乘积公式说明各状态是独立公平比特。对 k\ge1，事件 X_{2k}\ne X_{2k+1} 因使用不相交的比特对而独立，各有概率 1/2。Borel–Cantelli使它们几乎必然无穷多次发生，所以路径不会最终恒定，也就不可能作为实数序列收敛。从第一步起的尾过程已经精确平稳，几乎每条路径却仍不断变化；若初始分布并非均匀，不能把这句话扩张为从时刻0起全过程平稳。总变差定理说的是后续观测概率不再区分不同出发分布，不能把它改读成个体运动逐渐停止。
这份证明也指出下一步应该问什么，而不只是说“推广到无限空间”。真正推动收缩的是一块共同的正质量。若这种共同成分只在某个区域内出现，链在其余时间怎样演化，多久才能返回那里，就成为不能回避的问题。要迁移当前机制，必须把返回估计与这份局部共同成分接起来。Harris理论将在后文系统地联结这两件事；眼前的证明已经让我们认出了寻找那种推广所需的具体部件。
17.11 周期没有消失时，究竟还有什么收敛
两状态交替不是没有规律，而是我们在错误的时钟上寻找一种过强的稳定。有限不可约链即使有周期，17.7的平均分布仍然趋于唯一的 \pi：每个收敛子列的极限都不变，而不变概率只有一个。若全序列不收敛，就有一串与 \pi 保持正距离的子列；有限单纯形再给一个收敛子列，产生矛盾。因此对任意初始 \mu，
\frac1N\sum_{n=0}^{N-1}\mu P^n\longrightarrow\pi
\quad\text{in total variation}.不平均也能描述各个相位。共同周期为 d 时，每隔 d 步观察一次，P^d 留在各个 C_\ell 内。在其中它不可约：两个同相位状态之间的任一正路径长度都是 d 的倍数。它也非周期，因为在原链中所有返回时长除以 d 后最大公约数就是1。其不变概率是 \pi 在该类上的归一化限制，即 d\pi_j。
归一化限制确实不变：\pi P^d=\pi，而 P^d 不在这些类之间转移，故每个类内的不变方程可单独保留。现在可以应用已经证明的有限链定理，而不是再预用一个新的周期链定理。若从 i\in C_a 出发，对 0\le r<d 有
p^{(kd+r)}_{ij}\longrightarrow
\begin{cases}
d\pi_j,&j\in C_{a+r\ {\rm mod}\ d},\\
0,&j\notin C_{a+r\ {\rm mod}\ d}.
\end{cases}要核对式子，先走 r 步，所有质量都在 C_{a+r}；再走 kd 步，每个出发状态的条件分布都趋于这个类上的 d\pi。对有限个中间状态求和即可取极限。周期为2的交替链恰是每个相位只有一个状态的特例。平均分布的收敛、逐相位的收敛和逐时刻的收敛，如今各有准确结论，不再用“趋于平衡”一语混称。
17.12 如果有几个不能离开的世界
不可约性不能仅作为定理旁边的一个标签。两个互不沟通的吸收点，已经给出任意混合都不变的反例；没有一种机制能够抹去链最后进入了哪个封闭世界。有限可约链的长期分布，需要先记录这个选择，再讨论每个类内部怎样稳定。
设闭沟通类为 D_1,\ldots,D_b，各自的唯一不变概率为 \pi^{(a)}，延拓为类外零。17.6已经证明，链在有限时间 H 进入它们的并。于是类外的概率至多为 P_\mu(H>n)，趋于0。若 \rho 是不变概率，从 \rho 出发时类外质量又恒定，只能为0；类内的不变方程与唯一性说明，所有不变概率恰为
\rho=\sum_{a=1}^b c_a\pi^{(a)},\qquad
c_a\ge0,\quad\sum_a c_a=1.如果每个闭类还非周期，则逐时分布确实收敛，但混合权重由初始实验决定。记 \alpha_a=P_\mu(X_H\in D_a)，有
\mu P^n\longrightarrow\sum_{a=1}^b\alpha_a\pi^{(a)}
\quad\text{in total variation}.这里不能只把随机进入时刻直接塞进确定时刻收敛。固定 M，先限制在 H\le M。按 H=h 和 X_H=i 分片，17.5的强Markov性质把后续分布写成 P^{n-h}(i,\cdot)。对有限多个 h\le M,i，类内收敛可同时使用。剩余 H>M 部分的实际概率和相应目标混合各有相同总质量，故它们的总变差不超过 P_\mu(H>M)。先令 n\to\infty，再令 M\to\infty，便证明所述极限。
若闭类有周期，就不能保证这项逐时收敛；需要保留上节的相位，或改看分布的时间平均。平均版本无需非周期，但随机进入前后的分界仍要保留。对 H=h\le M、X_H=i\in D_a，只把进入以后的项交给强Markov性质：
\frac1N\sum_{n=h}^{N-1}P^{n-h}(i,\cdot)
=\frac{N-h}{N}
\left(\frac1{N-h}\sum_{k=0}^{N-h-1}P^k(i,\cdot)\right)
\longrightarrow\pi^{(a)}\qquad(N>M).此前的 n<h 项最多有 M 个，其在平均中的总质量不超过 M/N。对有限个 h,i 应用17.11的类内平均极限，余下 H>M 的记录再贡献至多 P(H>M) 的差异。先令 N\to\infty，再令 M\to\infty，平均分布便趋于同一份 \sum_a\alpha_a\pi^{(a)}。这里没有负时间的矩阵幂，也没有把随机时间移位直接当成确定时间移位。这仍只是分布层面的长期结果，不是样本路径的遍历定理。
17.13 稳定以后，时间倒放是否仍是同一场实验
长期分布不再变化，并不表示过程失去了时间方向。17.7的唯一性证明出现过一组反向权重；现在直接从平稳记录看它们。在 \pi_i>0 的状态上，给定当前为 i，上一时刻是 j 的概率为
\widehat p_{ij}=\frac{\pi_jp_{ji}}{\pi_i}.不变性保证每行和为1，且 \pi\widehat P=\pi。在一般可数链上，这些等式也成立，只需对非负项求和。若 \pi_j=0，不变方程中的非负项说明，正质量支撑不会向 j 转移。因此只在正质量支撑上用这个公式，零质量状态的反向行另行任取，不改变平稳路径律。
不只是相邻两个时刻。对支撑中的有限路径，反向核的乘积实际消去为
\begin{aligned}
\pi_{i_n}\prod_{k=0}^{n-1}\widehat p_{i_{k+1}i_k}
&=\pi_{i_n}\prod_{k=0}^{n-1}
\frac{\pi_{i_k}p_{i_ki_{k+1}}}{\pi_{i_{k+1}}}\\
&=\pi_{i_0}\prod_{k=0}^{n-1}p_{i_ki_{k+1}}.
\end{aligned}所以倒放后的记录仍是一条Markov链，但核通常变成了 \widehat P。若要求正放与倒放真是同一份平稳实验，长度1的路径便迫使每一对状态满足详细平衡
\pi_ip_{ij}=\pi_jp_{ji}.反过来，详细平衡对状态求和给出不变性，对有限路径连乘给出正反记录等概率；因此它与这里的可逆性等价。它比不变性强：不变性只要求每个点总流入等于总流出，详细平衡要求每对点的流量逐对抵消。
三个状态沿有向环确定旋转，均匀分布不变，但反向边不存在，故不可逆。若改成每一步以一半机会原地等待、一半机会顺着环前进，仍不可逆，却已有限、不可约、非周期，因而从任意初始分布收敛到均匀分布。相反，两状态必交替满足详细平衡，却因周期2不逐时收敛。可逆性不替代非周期性，收敛也不要求可逆；这些概念终于各自回答了不同的实验问题。
第十七章结语：下一步的规则，与漫长的未来
后验状态把一次次观察留下的消息保存下来；给定它以后，整段旧记录不再增加对未来的预测。Markov性质因此不是忘记过去的口号，而是判断我们是否已经找到了足够的现在。顺序核构造和停止时刻分片，使这份判断有了真正的无限记录，也能在合法停下以后继续使用。
若把“解出唯一的不变分布”当成终点，两状态的交替本来很容易被当作一个小例外略过。认真对待这个例外，才发现原先把两个问题混在了一起：什么分布可以保持不变，与不同出发分布是否会靠近它。接着需要分辨的又不是更多坐标，而是路径允许的时长。问题的进展来自这些被反例显露的区别；统一正幂和共同质量随后才成为恰好能够解决它们的工具。
有限空间总会把路径留在某个封闭部分，才使这些统一估计成为可能。在无限格点上，箭头仍可指回出发处，路径却可能不断远行。知道存在回来的路，还要计算它究竟会不会回来、会回来多少次。这一差别将把随机游走带向访问次数与空间维度的问题。
史料与证明范围
本章的未知偏向硬币、比特反例、循环链和有限矩阵证明采用现代数学重建，没有把它们编成Markov当年的发现过程。一般可测空间的存在性由T-SEQUENTIAL实际支持；原始文献入口为Ionescu–Tulcea的1949年论文Mesures dans les espaces produits。顺序核的逐点数据与任意一般空间有限维分布的扩张问题保持区别。
有限链的周期算术和收敛范围与Cambridge公开的Markov Chains讲义§9.2–9.3核对；这里完整展开非负整数组合，并用有限矩阵的共同质量分解证明收缩，不借一般coupling或Harris定理。第十八章继续处理返回与Green核，第四十二章承担一般状态空间的Harris与mixing理论；本章的有限链结果不计为那些一般定理已经证明。