04 平稳分布与遍历性：一次抽样和长时间观察 一台服务器不断接收请求，状态用“空闲、忙碌、拥塞”表示。你观察了很长时间，发现它处于三个状态的比例大约是 0.20 , 0.50 , 0.30 0.20,0.50,0.30 0.20 , 0.50 , 0.30
这两个问题容易被混成一句“求平稳分布”。实际上，它们分别涉及两件事：固定时刻的分布怎样变化，以及一条实际运行轨迹的时间平均怎样变化。平稳分布则是用来与二者比较的一份不变分布。本章把这两层关系拆开，并说明不可约、周期性和平均回返时间各自解决什么困难。
把“长期稳定”写成方程 设 ( X n ) n ≥ 0 (X_n)_{n\ge 0} ( X n ) n ≥ 0 S S S P = ( p i j ) P=(p_{ij}) P = ( p ij )
p i j = P ( X n + 1 = j ∣ X n = i ) . p_{ij}=\mathbb P(X_{n+1}=j\mid X_n=i). p ij = P ( X n + 1 = j ∣ X n = i ) . 若时刻 n n n μ n \mu_n μ n
μ n + 1 = μ n P . \mu_{n+1}=\mu_nP. μ n + 1 = μ n P . 我们想找一种分布 π \pi π
π = π P , π i ≥ 0 , ∑ i ∈ S π i = 1. \boxed{\pi=\pi P,\qquad \pi_i\ge 0,\qquad \sum_{i\in S}\pi_i=1.} π = π P , π i ≥ 0 , i ∈ S ∑ π i = 1. 这就是平稳分布。坐标形式为
π j = ∑ i ∈ S π i p i j , \pi_j=\sum_{i\in S}\pi_i p_{ij}, π j = i ∈ S ∑ π i p ij , 意思是：流入状态 j j j j j j
“平稳”不是说链每一步都不动，也不是说 X n X_n X n
平稳分布是一个关于分布的结论，不等于从任意初始状态出发都已经处在平稳状态。若初始分布正好是 π \pi π n ≥ 0 n\ge0 n ≥ 0 X n ∼ π X_n\sim\pi X n ∼ π μ 0 P n \mu_0P^n μ 0 P n π \pi π
例题：两状态系统的平衡流 一台设备每周要么处于正常状态 0 0 0 1 1 1 0.1 0.1 0.1 0.4 0.4 0.4
进入维修的概率是 0.1，长期维修比例却未必是 0.1：维修可能持续不止一周。我们用平稳方程把进入和离开的机会一起算进去。稍后还会检查，为什么这份分布确实描述长期观测。
按照状态顺序 0 , 1 0,1 0 , 1 0.9 0.9 0.9 0.4 0.4 0.4 P = ( 0.9 0.1 0.4 0.6 ) P=\begin{pmatrix}0.9&0.1\\0.4&0.6\end{pmatrix} P = ( 0.9 0.4 0.1 0.6 )
令 π = ( π 0 , π 1 ) \pi=(\pi_0,\pi_1) π = ( π 0 , π 1 ) π 0 + π 1 = 1 \pi_0+\pi_1=1 π 0 + π 1 = 1 π 1 = 0.1 π 0 + 0.6 π 1 \pi_1=0.1\pi_0+0.6\pi_1 π 1 = 0.1 π 0 + 0.6 π 1 0.4 π 1 = 0.1 π 0 0.4\pi_1=0.1\pi_0 0.4 π 1 = 0.1 π 0
因而 π 1 = 1 4 π 0 \pi_1=\frac14\pi_0 π 1 = 4 1 π 0 π 0 = 4 5 \pi_0=\frac45 π 0 = 5 4 π 1 = 1 5 \pi_1=\frac15 π 1 = 5 1 80 % 80\% 80% 20 % 20\% 20%
检查流量：从正常流向维修的平稳流量是 π 0 p 01 = 4 5 × 0.1 = 0.08 \pi_0p_{01}=\frac45\times0.1=0.08 π 0 p 01 = 5 4 × 0.1 = 0.08 π 1 p 10 = 1 5 × 0.4 = 0.08 \pi_1p_{10}=\frac15\times0.4=0.08 π 1 p 10 = 5 1 × 0.4 = 0.08
这个例子还展示了一个常用技巧。两状态链的平稳方程可以写成详细平衡关系 π 0 p 01 = π 1 p 10 \pi_0p_{01}=\pi_1p_{10} π 0 p 01 = π 1 p 10
不可约性决定能否互相到达 对状态 i , j i,j i , j p i j ( n ) = ( P n ) i j = P i ( X n = j ) p_{ij}^{(n)}=(P^n)_{ij}=\mathbb P_i(X_n=j) p ij ( n ) = ( P n ) ij = P i ( X n = j ) n ≥ 0 n\ge0 n ≥ 0 p i j ( n ) > 0 p_{ij}^{(n)}>0 p ij ( n ) > 0 i i i j j j i → j i\to j i → j i → j i\to j i → j j → i j\to i j → i i , j i,j i , j i ↔ j i\leftrightarrow j i ↔ j
若任意两个状态都互通，链称为不可约。不可约的直观含义不是“每一步都能去任何地方”，而是允许绕几步，任何状态最终都有机会影响任何另一个状态。状态空间可以分成沟通类，其中有些类可能有出口，不能一概称为闭类。在不可约链中，整个状态空间就是一个沟通类。
不可约性很重要，因为同一条链可以有多个互不相通的区域，每个区域各自形成自己的长期行为。比如
P = ( 1 0 0.3 0.7 ) P=\begin{pmatrix}1&0\\0.3&0.7\end{pmatrix} P = ( 1 0.3 0 0.7 ) 中，状态 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 1 1 1 ( 1 , 0 ) (1,0) ( 1 , 0 ) 0.7 n 0.7^n 0. 7 n ( a , 1 − a ) (a,1-a) ( a , 1 − a )
对有限状态空间，不可约性还有一个强结论：平稳分布一定存在且唯一，而且每个状态的平稳概率都严格为正。无限状态空间则还要检查平均回返时间。下面先证明有限情形的结论，免得把“求到一个解”和“只有这一个解”当作一回事。
有限不可约链为何恰好有一份平稳分布 任取初始分布 μ \mu μ N N N
a N = 1 N ∑ n = 0 N − 1 μ P n . a_N=\frac1N\sum_{n=0}^{N-1}\mu P^n. a N = N 1 n = 0 ∑ N − 1 μ P n . 这仍是一个概率向量，而且
a N P − a N = μ P N − μ N ⟶ 0. a_NP-a_N=\frac{\mu P^N-\mu}{N}\longrightarrow0. a N P − a N = N μ P N − μ ⟶ 0. 有限维概率单纯形是闭且有界的，所以能从 a N a_N a N π \pi π π P = π \pi P=\pi π P = π
不可约性让每个坐标都为正。某个 π i > 0 \pi_i>0 π i > 0 i i i j j j n n n π j = ( π P n ) j ≥ π i p i j ( n ) > 0 \pi_j=(\pi P^n)_j\ge\pi_i p_{ij}^{(n)}>0 π j = ( π P n ) j ≥ π i p ij ( n ) > 0
唯一性也可以直接验证。若另有平稳分布 ν \nu ν M = max i ν i / π i M=\max_i\nu_i/\pi_i M = max i ν i / π i w = M π − ν w=M\pi-\nu w = M π − ν w P = w wP=w w P = w k k k w k = 0 w_k=0 w k = 0 w i > 0 w_i>0 w i > 0 i i i k k k w k = ( w P n ) k ≥ w i p i k ( n ) > 0 w_k=(wP^n)_k\ge w_ip_{ik}^{(n)}>0 w k = ( w P n ) k ≥ w i p ik ( n ) > 0 w = 0 w=0 w = 0 M = 1 M=1 M = 1 ν = π \nu=\pi ν = π
练习 1（概念巩固） 考虑转移矩阵
P = ( 0 1 0 0 0 1 1 0 0 ) . P=\begin{pmatrix}0&1&0\\0&0&1\\1&0&0\end{pmatrix}. P = 0 0 1 1 0 0 0 1 0 . 判断它是否不可约，并求它的平稳分布。
查看解答 三种状态按 0 → 1 → 2 → 0 0\to1\to2\to0 0 → 1 → 2 → 0 π = ( 1 / 3 , 1 / 3 , 1 / 3 ) \pi=(1/3,1/3,1/3) π = ( 1/3 , 1/3 , 1/3 )
周期性：为什么分布可能来回振荡 状态 i i i
d ( i ) = gcd { n ≥ 1 : p i i ( n ) > 0 } . d(i)=\gcd\{n\ge1:p_{ii}^{(n)}>0\}. d ( i ) = g cd{ n ≥ 1 : p ii ( n ) > 0 } . 如果 d ( i ) = 1 d(i)=1 d ( i ) = 1 i i i d ( i ) = d > 1 d(i)=d>1 d ( i ) = d > 1 d d d
上面的三状态环每三步回到原状态，而且不可能在一步或两步回到原状态，且所有返回时刻都恰为 3 的正整数倍，所以周期为 3 3 3 0 0 0 ( 1 / 3 , 1 / 3 , 1 / 3 ) (1/3,1/3,1/3) ( 1/3 , 1/3 , 1/3 ) 0 0 0 0 0 0 1 1 1 1 1 1 2 2 2 2 2 2 P n P^n P n
若某状态有自环，即 p i i > 0 p_{ii}>0 p ii > 0
练习 2（周期性的变式） 把三状态环改成
P = ( 0.2 0.8 0 0 0.2 0.8 0.8 0 0.2 ) . P=\begin{pmatrix}0.2&0.8&0\\0&0.2&0.8\\0.8&0&0.2\end{pmatrix}. P = 0.2 0 0.8 0.8 0.2 0 0 0.8 0.2 . 它还会像纯三状态环那样振荡吗？说明理由，并求其平稳分布。
查看解答 不会保持原来那种永不衰减的三拍振荡，但仍可能出现逐渐减弱的摆动。每个状态都有自环，一步就能返回，周期必为 1；整条链仍不可约。矩阵在循环对称下三列和也为 1 1 1 π = ( 1 / 3 , 1 / 3 , 1 / 3 ) \pi=(1/3,1/3,1/3) π = ( 1/3 , 1/3 , 1/3 ) π P = π \pi P=\pi π P = π
非周期性怎样让分布忘记起点 对有限不可约非周期链，存在某个整数 m m m K = P m K=P^m K = P m m m m
这条图论事实来自返回长度的最大公因数。选一个状态 a a a r 1 , … , r k r_1,\ldots,r_k r 1 , … , r k ∑ ℓ c ℓ r ℓ \sum_\ell c_\ell r_\ell ∑ ℓ c ℓ r ℓ r 1 r_1 r 1 r 1 r_1 r 1 i i i a a a j j j m m m
设状态数为 d d d ε = min i , j K i j > 0 \varepsilon=\min_{i,j}K_{ij}>0 ε = min i , j K ij > 0 η = d ε ≤ 1 \eta=d\varepsilon\le1 η = d ε ≤ 1 u = ( 1 / d , … , 1 / d ) u=(1/d,\ldots,1/d) u = ( 1/ d , … , 1/ d ) η u \eta u η u η < 1 \eta<1 η < 1 R R R
K = η 1 u + ( 1 − η ) R . K=\eta\mathbf1u+(1-\eta)R. K = η 1 u + ( 1 − η ) R . 任意两个概率向量 α , β \alpha,\beta α , β
∥ ( α − β ) K ∥ 1 = ( 1 − η ) ∥ ( α − β ) R ∥ 1 ≤ ( 1 − η ) ∥ α − β ∥ 1 . \|(\alpha-\beta)K\|_1
=(1-\eta)\|(\alpha-\beta)R\|_1
\le(1-\eta)\|\alpha-\beta\|_1. ∥ ( α − β ) K ∥ 1 = ( 1 − η ) ∥ ( α − β ) R ∥ 1 ≤ ( 1 − η ) ∥ α − β ∥ 1 . 最后一步只用三角不等式和 R R R q q q ( 1 − η ) q (1-\eta)^q ( 1 − η ) q β = π \beta=\pi β = π n = q m + r n=qm+r n = q m + r r r r
∥ μ P n − π ∥ 1 ≤ ( 1 − η ) ⌊ n / m ⌋ ∥ μ − π ∥ 1 ⟶ 0. \|\mu P^n-\pi\|_1\le(1-\eta)^{\lfloor n/m\rfloor}\|\mu-\pi\|_1\longrightarrow0. ∥ μ P n − π ∥ 1 ≤ ( 1 − η ) ⌊ n / m ⌋ ∥ μ − π ∥ 1 ⟶ 0. 若 η = 1 \eta=1 η = 1 K K K u u u
把环上的每一步改成“以概率 s s s 0 < s < 1 0<s<1 0 < s < 1 s 2 , 2 s ( 1 − s ) , ( 1 − s ) 2 s^2,2s(1-s),(1-s)^2 s 2 , 2 s ( 1 − s ) , ( 1 − s ) 2 s = 0.2 s=0.2 s = 0.2 ε = 0.04 , η = 0.12 \varepsilon=0.04,\eta=0.12 ε = 0.04 , η = 0.12 0.88 0.88 0.88
回返周期与正再生 从状态 i i i i i i
T i + = inf { n ≥ 1 : X n = i } . T_i^+=\inf\{n\ge1:X_n=i\}. T i + = inf { n ≥ 1 : X n = i } . 若 P i ( T i + < ∞ ) = 1 \mathbb P_i(T_i^+<\infty)=1 P i ( T i + < ∞ ) = 1 i i i 1 1 1 i i i
若 i i i
m i = E i [ T i + ] < ∞ , m_i=\mathbb E_i[T_i^+]<\infty, m i = E i [ T i + ] < ∞ , 称 i i i m i = ∞ m_i=\infty m i = ∞ i i i i i i m i m_i m i i i i
π i = 1 m i . \pi_i=\frac1{m_i}. π i = m i 1 . 对不可约链，暂态、零常返、正再生这三种性质分别是全类性质：一个状态属于哪一类，其他状态也属于同一类。有限不可约链必为正再生：第三章证明中共同的路径长度上界 L L L δ \delta δ P i ( T i + > k L ) ≤ ( 1 − δ ) k \mathbb P_i(T_i^+>kL)\le(1-\delta)^k P i ( T i + > k L ) ≤ ( 1 − δ ) k m i ≤ L / δ < ∞ m_i\le L/\delta<\infty m i ≤ L / δ < ∞
这条样本在时刻 0、1、4、6 回到状态 0。只计前 6 个观测（时刻 0 到 5），状态 0 出现 3 次，比例为 1/2；三个完整回返间隔的样本均值为 2，其倒数也为 1/2。它们在这段以回返点为端点的记录中互相核对，却不表示设备模型的理论平稳概率改成了 1/2。前面模型的理论值仍是 0.8，理论平均回返时间是 1/0.8=1.25；短路径可以偏离这些值。
正再生不可约链存在唯一平稳分布，并满足回返公式。反方向也很有用：在可数状态空间中，若找到一个平稳概率分布并且链不可约，就能推出正再生。因而“解出一个可归一化的平稳解”和“证明长期行为良好”往往是同一件事的两面。
为什么要区分平稳分布和极限分布 设初始状态为 i i i
p i j ( n ) , 1 N ∑ n = 0 N − 1 1 { X n = j } , π j . p_{ij}^{(n)},\qquad \frac1N\sum_{n=0}^{N-1}\mathbf 1_{\{X_n=j\}},\qquad \pi_j. p ij ( n ) , N 1 n = 0 ∑ N − 1 1 { X n = j } , π j . 第一项是固定时刻 n n n j j j N N N i i i
p i j ( n ) ⟶ π j , p_{ij}^{(n)}\longrightarrow \pi_j, p ij ( n ) ⟶ π j , 而遍历定理给出，无论初始状态如何，
1 N ∑ n = 0 N − 1 f ( X n ) ⟶ ∑ j ∈ S f ( j ) π j \frac1N\sum_{n=0}^{N-1}f(X_n)
\longrightarrow \sum_{j\in S}f(j)\pi_j N 1 n = 0 ∑ N − 1 f ( X n ) ⟶ j ∈ S ∑ f ( j ) π j 其中可积明确指 ∑ j π j ∣ f ( j ) ∣ < ∞ \sum_j\pi_j|f(j)|<\infty ∑ j π j ∣ f ( j ) ∣ < ∞
非周期性主要保障“固定时刻分布”的普通极限；在这里的不可约正再生条件下，时间平均不需要非周期性。三状态纯环虽然 p 0 j ( n ) p_{0j}^{(n)} p 0 j ( n ) 1 / 3 1/3 1/3
在本章的离散时间语境中，把不可约、正再生、非周期的链称为遍历链，强调的是从任意初始状态出发，固定时刻分布会趋向唯一平稳分布，同时长期平均也由这份分布给出。若只讨论时间平均，常见的遍历定理可以不要求非周期；若只解平稳方程，也不需要非周期。写结论时要把这三个层次说清楚：不可约保证状态属于同一个沟通类，正再生保证长期占比能归一化，非周期排除固定时刻的相位振荡。
记住两条不同的路线：平稳分布解决 π P = π \pi P=\pi π P = π π \pi π
把回返直觉变成时间平均的证明 仍在不可约正再生条件下，固定状态 i i i S 0 = 0 , S 1 , S 2 , … S_0=0,S_1,S_2,\ldots S 0 = 0 , S 1 , S 2 , … L r = S r − S r − 1 L_r=S_r-S_{r-1} L r = S r − S r − 1 S r = n S_r=n S r = n n n n m i m_i m i
令 V i ( N ) = ∑ n = 0 N − 1 1 { X n = i } V_i(N)=\sum_{n=0}^{N-1}\mathbf1_{\{X_n=i\}} V i ( N ) = ∑ n = 0 N − 1 1 { X n = i } N − 1 N-1 N − 1 N N N
S V i ( N ) − 1 ≤ N − 1 < N ≤ S V i ( N ) . S_{V_i(N)-1}\le N-1<N\le S_{V_i(N)}. S V i ( N ) − 1 ≤ N − 1 < N ≤ S V i ( N ) . 对周期长度使用独立同分布变量的强大数律，S r / r → m i S_r/r\to m_i S r / r → m i V i ( N ) V_i(N) V i ( N ) V i ( N ) / N → 1 / m i V_i(N)/N\to1/m_i V i ( N ) / N → 1/ m i i i i i i i N N N
还需证明 1 / m i 1/m_i 1/ m i i i i i i i j j j
γ j = E i ∑ n = 0 T i + − 1 1 { X n = j } . \gamma_j=\mathbb E_i\sum_{n=0}^{T_i^+-1}\mathbf1_{\{X_n=j\}}. γ j = E i n = 0 ∑ T i + − 1 1 { X n = j } . 它满足 γ i = 1 \gamma_i=1 γ i = 1 ∑ j γ j = m i \sum_j\gamma_j=m_i ∑ j γ j = m i 0 , … , T i + − 1 0,\ldots,T_i^+-1 0 , … , T i + − 1 1 , … , T i + 1,\ldots,T_i^+ 1 , … , T i + i i i γ P = γ \gamma P=\gamma γ P = γ γ / m i \gamma/m_i γ / m i π i = 1 / m i \pi_i=1/m_i π i = 1/ m i
同样，一个周期中的总报酬为 Y r = ∑ n = S r − 1 S r − 1 f ( X n ) Y_r=\sum_{n=S_{r-1}}^{S_r-1}f(X_n) Y r = ∑ n = S r − 1 S r − 1 f ( X n ) ∑ j π j ∣ f ( j ) ∣ < ∞ \sum_j\pi_j|f(j)|<\infty ∑ j π j ∣ f ( j ) ∣ < ∞ E ∣ Y r ∣ ≤ m i ∑ j π j ∣ f ( j ) ∣ < ∞ \mathbb E|Y_r|\le m_i\sum_j\pi_j|f(j)|<\infty E ∣ Y r ∣ ≤ m i ∑ j π j ∣ f ( j ) ∣ < ∞ E Y r / E L r = ∑ j π j f ( j ) \mathbb E Y_r/\mathbb E L_r=\sum_j\pi_jf(j) E Y r / E L r = ∑ j π j f ( j ) Z r = ∑ n = S r − 1 S r − 1 ∣ f ( X n ) ∣ Z_r=\sum_{n=S_{r-1}}^{S_r-1}|f(X_n)| Z r = ∑ n = S r − 1 S r − 1 ∣ f ( X n ) ∣ Z r Z_r Z r Z r / r → 0 Z_r/r\to0 Z r / r → 0
可数状态时，归一化这一步不能跳过 对可数不可约链，“存在平稳概率分布”等价于正再生，并且平稳分布唯一，仍有 π i = 1 / m i \pi_i=1/m_i π i = 1/ m i m i m_i m i γ / m i \gamma/m_i γ / m i π \pi π π i > 0 \pi_i>0 π i > 0 π / π i \pi/\pi_i π / π i i i i π j / π i ≥ γ j \pi_j/\pi_i\ge\gamma_j π j / π i ≥ γ j j j j m i ≤ 1 / π i < ∞ m_i\le1/\pi_i<\infty m i ≤ 1/ π i < ∞
回返几乎必然后，γ \gamma γ w = π / π i − γ w=\pi/\pi_i-\gamma w = π / π i − γ i i i i i i w i > 0 w_i>0 w i > 0 λ P = λ \lambda P=\lambda λ P = λ ∑ j λ j \sum_j\lambda_j ∑ j λ j
例如在全体整数上每步以 1 / 2 1/2 1/2 1 / 2 1/2 1/2 [ 0 , M ] [0,M] [ 0 , M ] M M M 1 − 1 / M 1-1/M 1 − 1/ M M M M
π j = 1 2 π j − 1 + 1 2 π j + 1 , \pi_j=\tfrac12\pi_{j-1}+\tfrac12\pi_{j+1}, π j = 2 1 π j − 1 + 2 1 π j + 1 , 即相邻差值处处相同，解形如 a + b j a+bj a + bj b = 0 b=0 b = 0 1 / 2 1/2 1/2 1 / 4 1/4 1/4
有限情形的分布收敛已在前面证明。可数不可约正再生非周期链也有同样的逐坐标收敛：取一条从任意分布出发的链，和一条从 π \pi π π ⊗ π \pi\otimes\pi π ⊗ π n n n
用详细平衡快速构造平稳分布 若非负权重 π i \pi_i π i
π i p i j = π j p j i , \pi_i p_{ij}=\pi_j p_{ji}, π i p ij = π j p j i , 称其满足详细平衡。对固定的 j j j i i i
∑ i π i p i j = ∑ i π j p j i = π j ∑ i p j i = π j . \sum_i\pi_i p_{ij}=\sum_i\pi_jp_{ji}
=\pi_j\sum_i p_{ji}=\pi_j. i ∑ π i p ij = i ∑ π j p j i = π j i ∑ p j i = π j . 所以详细平衡自动推出 π P = π \pi P=\pi π P = π
例题：带边界的随机游走 状态为 0 , 1 , 2 , 3 0,1,2,3 0 , 1 , 2 , 3 1 , 2 1,2 1 , 2 0.6 0.6 0.6 0.4 0.4 0.4 0 0 0 1 1 1 1 1 1 3 3 3 1 1 1 2 2 2
这条链是有限且不可约，所以平稳分布一定唯一。边界处的转移不对称，直接解四个方程当然可以，但相邻状态的流量关系更短：设 π i p i , i + 1 = π i + 1 p i + 1 , i \pi_i p_{i,i+1}=\pi_{i+1}p_{i+1,i} π i p i , i + 1 = π i + 1 p i + 1 , i
对边 0 ↔ 1 0\leftrightarrow1 0 ↔ 1 p 01 = 1 p_{01}=1 p 01 = 1 p 10 = 0.4 p_{10}=0.4 p 10 = 0.4 π 1 = π 0 / 0.4 = 2.5 π 0 \pi_1=\pi_0/0.4=2.5\pi_0 π 1 = π 0 /0.4 = 2.5 π 0
对边 1 ↔ 2 1\leftrightarrow2 1 ↔ 2 p 12 = 0.6 p_{12}=0.6 p 12 = 0.6 p 21 = 0.4 p_{21}=0.4 p 21 = 0.4 0.6 π 1 = 0.4 π 2 0.6\pi_1=0.4\pi_2 0.6 π 1 = 0.4 π 2 π 2 = 1.5 π 1 = 3.75 π 0 \pi_2=1.5\pi_1=3.75\pi_0 π 2 = 1.5 π 1 = 3.75 π 0
对边 2 ↔ 3 2\leftrightarrow3 2 ↔ 3 p 23 = 0.6 p_{23}=0.6 p 23 = 0.6 p 32 = 1 p_{32}=1 p 32 = 1 0.6 π 2 = π 3 0.6\pi_2=\pi_3 0.6 π 2 = π 3 π 3 = 2.25 π 0 \pi_3=2.25\pi_0 π 3 = 2.25 π 0
四个权重为
1 , 2.5 , 3.75 , 2.25 1,2.5,3.75,2.25 1 , 2.5 , 3.75 , 2.25 ，总和为
9.5 9.5 9.5 。因此
π = ( 2 19 , 5 19 , 15 38 , 9 38 ) . \pi=\left(\frac2{19},\frac5{19},\frac{15}{38},\frac9{38}\right). π = ( 19 2 , 19 5 , 38 15 , 38 9 ) . 检查它们相加为
1 1 1 ，且每条相邻边的流量相等；这同时检查了边界概率是否被正确使用。
这条链每步改变位置奇偶性，返回长度只能为偶数，又存在两步返回，所以周期为 2。从状态 0 出发，偶数时刻只在 { 0 , 2 } \{0,2\} { 0 , 2 } { 1 , 3 } \{1,3\} { 1 , 3 } π \pi π π \pi π 2 / 19 + 15 / 38 = 1 / 2 2/19+15/38=1/2 2/19 + 15/38 = 1/2 5 / 19 + 9 / 38 = 1 / 2 5/19+9/38=1/2 5/19 + 9/38 = 1/2
这里的“详细平衡”还提示了一个方法选择原则：线性方程适用于任意有限链；当状态图是线性的、树状的或有明显的局部流量关系时，先尝试详细平衡，计算和检查都会更透明。
把实验切到上面的四状态边界游走，分别看平稳方程的解、时刻分布和它的累计平均。即使迭代很多轮，时刻分布仍在两个组之间换位置；累计平均却能靠近平稳向量。加入停留概率后再比较：平稳向量没有改变，周期结构已经改变。再试试单位矩阵：不同初始向量都保持不动，它们都是平稳分布。这时请把“当前显示的一个解”和“所有解”分开。
遍历性的一次完整判断 面对一条离散时间链，可以按以下逻辑检查长期结论：
看状态之间是否互通。若链可约，要分闭类讨论，并处理进入各闭类的概率；可约本身不等于平稳分布必不唯一。
若状态空间有限且不可约，平稳分布存在唯一，且链正再生。
对不可约正再生链，检查周期是否为 1；它决定是否从所有初始状态都有固定时刻分布的普通收敛。即使链有周期，从平稳分布本身出发也始终不变。
若状态空间可数无穷，必须检查正再生；仅有常返还不够，零常返没有平稳概率分布。
对实际观测的长期平均，使用遍历定理，并明确函数 f f f
练习 3（迁移：条件失效时如何表述） 某不可约链的状态空间可数。已知每个状态都会以概率 1 1 1
（1）这条链属于哪一类？（2）能否存在总和为 1 1 1
查看解答 （1）它是不可约零常返链：几乎必然回返说明是常返，平均回返时间无穷大排除了正再生。（2）不能存在平稳概率分布。若存在，则不可约性会推出正再生，与已知矛盾；可以有形式上的不变测度，但不能归一化成概率分布。（3）不能直接断言。首先缺少平稳概率分布，其次固定时刻收敛还需要处理周期性；即便额外知道非周期，也不能凭“会回返”替代正再生条件。
小结练习 练习 4（巩固：直接解平稳方程） 设
P = ( 0.7 0.3 0.2 0.8 ) . P=\begin{pmatrix}0.7&0.3\\0.2&0.8\end{pmatrix}. P = ( 0.7 0.2 0.3 0.8 ) . 求平稳分布，并计算平稳状态下从 0 0 0 1 1 1
查看解答 令 π = ( a , 1 − a ) \pi=(a,1-a) π = ( a , 1 − a ) a = 0.7 a + 0.2 ( 1 − a ) a=0.7a+0.2(1-a) a = 0.7 a + 0.2 ( 1 − a ) 0.5 a = 0.2 0.5a=0.2 0.5 a = 0.2 a = 0.4 a=0.4 a = 0.4 ( 0.4 , 0.6 ) (0.4,0.6) ( 0.4 , 0.6 ) 0 0 0 1 1 1 π 0 p 01 = 0.4 × 0.3 = 0.12 \pi_0p_{01}=0.4\times0.3=0.12 π 0 p 01 = 0.4 × 0.3 = 0.12 0.6 × 0.2 = 0.12 0.6\times0.2=0.12 0.6 × 0.2 = 0.12
练习 5（变式：平稳不等于逐时刻收敛） 设链在两个状态之间必然切换：
P = ( 0 1 1 0 ) . P=\begin{pmatrix}0&1\\1&0\end{pmatrix}. P = ( 0 1 1 0 ) . 求平稳分布，并说明从状态 0 0 0 P n ( 0 , ⋅ ) P^n(0,\cdot) P n ( 0 , ⋅ )
查看解答 平稳方程给出 π = ( 1 / 2 , 1 / 2 ) \pi=(1/2,1/2) π = ( 1/2 , 1/2 ) 2 2 2 0 0 0 1 1 1 0 0 0 ( 1 , 0 ) (1,0) ( 1 , 0 ) ( 0 , 1 ) (0,1) ( 0 , 1 ) ( 1 / 2 , 1 / 2 ) (1/2,1/2) ( 1/2 , 1/2 )
练习 6（迁移：从观测比例反推检查） 长时间记录得到状态 A , B , C A,B,C A , B , C 0.5 , 0.3 , 0.2 0.5,0.3,0.2 0.5 , 0.3 , 0.2 ( 0.6 , 0.4 , 0 ) (0.6,0.4,0) ( 0.6 , 0.4 , 0 ) ( 0.2 , 0.5 , 0.3 ) (0.2,0.5,0.3) ( 0.2 , 0.5 , 0.3 ) C C C A A A B B B
查看解答 设第三行是 ( r , s , 1 − r − s ) (r,s,1-r-s) ( r , s , 1 − r − s ) A A A 0.5 = 0.5 × 0.6 + 0.3 × 0.2 + 0.2 r = 0.36 + 0.2 r 0.5=0.5\times0.6+0.3\times0.2+0.2r=0.36+0.2r 0.5 = 0.5 × 0.6 + 0.3 × 0.2 + 0.2 r = 0.36 + 0.2 r r = 0.7 r=0.7 r = 0.7 B B B 0.3 = 0.5 × 0.4 + 0.3 × 0.5 + 0.2 s = 0.35 + 0.2 s 0.3=0.5\times0.4+0.3\times0.5+0.2s=0.35+0.2s 0.3 = 0.5 × 0.4 + 0.3 × 0.5 + 0.2 s = 0.35 + 0.2 s s = − 0.25 s=-0.25 s = − 0.25 s s s 0 0 0
7 哪一个条件主要用于保证不可约有限链的固定时刻分布从任意初始状态收敛到平稳分布？
A. 存在一个平稳分布 B. 非周期性 C. 状态数有限 D. 至少有一个状态可回返
8 关于不可约 Markov 链，下列哪些说法正确？
9 一个周期为 2 的不可约链可以有平稳分布，但从某个确定状态出发的分布不一定收敛到它。
10 对不可约正再生链，状态 i 的平均首次回返时间为 m_i，则唯一平稳分布满足 π_i = ____。
再向前走一步
上面的四状态边界游走有周期 2。令 P s = s I + ( 1 − s ) P P_s=sI+(1-s)P P s = s I + ( 1 − s ) P 0 < s < 1 0<s<1 0 < s < 1 s = 1 s=1 s = 1
查看解答 由 π P = π \pi P=\pi π P = π π P s = s π + ( 1 − s ) π = π \pi P_s=s\pi+(1-s)\pi=\pi π P s = s π + ( 1 − s ) π = π s < 1 s<1 s < 1 ν P s = ν \nu P_s=\nu ν P s = ν ν P = ν \nu P=\nu ν P = ν 0 < s < 1 0<s<1 0 < s < 1 s = 1 s=1 s = 1
一条三状态链有 0、2 两个吸收态，状态 1 以概率 0.4 到 0、以概率 0.6 到 2。求所有平稳分布。从状态 1 出发时，时刻分布的极限是多少？一条样本路径中状态 2 的长期访问比例，又是固定的 0.6 吗？
查看解答 平稳分布必须在状态 1 上给零质量，因此全部解为 ( a , 0 , 1 − a ) (a,0,1-a) ( a , 0 , 1 − a ) 0 ≤ a ≤ 1 0\le a\le1 0 ≤ a ≤ 1 ( 0.4 , 0 , 0.6 ) (0.4,0,0.6) ( 0.4 , 0 , 0.6 )
一条两状态不可约链给出的单步平稳残差 ∥ μ P − μ ∥ 1 \|\mu P-\mu\|_1 ∥ μ P − μ ∥ 1 μ \mu μ P = ( 1 − ϵ ϵ ϵ 1 − ϵ ) P=\begin{pmatrix}1-\epsilon&\epsilon\\\epsilon&1-\epsilon\end{pmatrix} P = ( 1 − ϵ ϵ ϵ 1 − ϵ ) ϵ = 10 − 6 \epsilon=10^{-6} ϵ = 1 0 − 6 μ = ( 1 , 0 ) \mu=(1,0) μ = ( 1 , 0 ) ρ < 1 \rho<1 ρ < 1
查看解答 唯一平稳分布是 ( 1 / 2 , 1 / 2 ) (1/2,1/2) ( 1/2 , 1/2 ) L 1 L^1 L 1 2 ϵ = 0.000002 2\epsilon=0.000002 2 ϵ = 0.000002 ∥ α K − β K ∥ 1 ≤ ρ ∥ α − β ∥ 1 \|\alpha K-\beta K\|_1\le\rho\|\alpha-\beta\|_1 ∥ α K − β K ∥ 1 ≤ ρ ∥ α − β ∥ 1 K = P m K=P^m K = P m ∥ μ − π ∥ 1 ≤ ∥ μ − μ K ∥ 1 + ρ ∥ μ − π ∥ 1 \|\mu-\pi\|_1\le\|\mu-\mu K\|_1+\rho\|\mu-\pi\|_1 ∥ μ − π ∥ 1 ≤ ∥ μ − μ K ∥ 1 + ρ ∥ μ − π ∥ 1 ∥ μ − π ∥ 1 ≤ ∥ μ K − μ ∥ 1 / ( 1 − ρ ) \|\mu-\pi\|_1\le\|\mu K-\mu\|_1/(1-\rho) ∥ μ − π ∥ 1 ≤ ∥ μ K − μ ∥ 1 / ( 1 − ρ )
用同一个模型对照两种观察方式：时刻概率由矩阵递推计算，一条轨迹的累计访问比例由实际访问次数计算。即使概率曲线已经稳定，短路径的访问比例仍可能上下波动。纯三环从状态 0 出发时，可以手算前 6 个观测的访问次数；带自环后，改变随机种子，看样本波动怎样变化，再用回返间隔和访问次数核对长期比例。样本变长不保证每一步都更接近理论值。
