中科院随机过程讲义第5章.pdf

第五章连续时间 Markov 链

连续时间 Markov 链

连续时间 Markov 链的要旨仍然是 Markov 性,与上一章不同之处在于指标集
(这里表示时间)取值连续,通常为{t t ≥ 0}。状态仍然是离散的,最多取可数
个值,我们用整数值 0,1,2L表示。
定义 :设随机过程 X (t),t ≥ 0 状态空间为 S = {0,1,2L},若对所有 s,t ≥ 0 ,
0 ≤ u < s 和i, j ∈ S 以及 x(u) ∈ S 满足
P()X (s + t) = j X (s) = i, X (u) = x(u),0 ≤ u < s = P(X (s + t) = j X (s) = i)
则称 X (t),t ≥ 0 为连续时间 Markov 链。
一般 P(X (s + t) = j X (s) = i)称为转移概率,与时间 s,t 有关,若进一步此概
率与 s 无关则随机过程 X (t) 称为有平稳转移概率的连续时间 Markov 链。此时记
Pij (t) = P()X (s + t) = j X (s) = i = P(X (t) = j X (0) = i)。以下不特别指明,所涉及
到的连续时间 Markov 链是指有平稳转移概率的连续时间 Markov 链。若过程初
始分布为 pi = P(X (0) = i) ,于是有
定理 :连续时间 Markov 链的转移概率 Pij (t),i, j ∈ S 和初始分布 pi ,i ∈ S 完全
确定了过程的任意有限维分布。

转移概率的性质。首先;其次,
Pij (t),i, j ∈ S Pij (t) ≥ 0,∑ Pij (t) = 1
j∈S
Pij (s + t) = P(X (s + t) = j X (0) = i) = ∑ P(X (s + t) = j, X (s) = k X (0) = i)
k∈S
= ∑ P()X (s) = k X (0) = i P()X (s + t) = j X (s) = k, X (0) = i
k∈S
= ∑ P()X (s) = k X (0) = i P()X (s + t) = j X (s) = k = ∑ Pik (s)Pkj (t)
k∈S k∈S
即 Pij (t) 满足 Chapman-Kolmogorov 方程。若过程不能刚到某个状态就瞬间离去即
1
lim Pij (t) = δ ij ,此条件称为标准性条件,约定 Pij (0) = δ ij 。标准性条件意味着
t↓0
lim P(t) = P(0) 。Chapman-Kolmogorov 方程写成矩阵形式有 P(s + t) = P(s)P(t) 。
t↓0

Q 矩阵与 Kolmogorov 向前、向后微分方程

设 X (t),t ≥ 0 为标准连续时间 Markov 链,状态空间为 S = {0,1,2L},转移概率
Pij (t),i, j ∈ S 。
引理 :对给定i, j ∈ S , Pij (t) 为t 的一致连续函数。
证明:设 h > 0,
∞
Pij (t + h) − Pij (t) = ∑ Pik (h)Pkj (t) − Pij (t)
k =0
∞
= −[]1− Pii (h) Pij (t) + ∑ Pik (h)Pkj (t)
k =0,k ≠i
由此可知
∞
Pij (t + h) − Pij (t) = ∑ Pik (h)Pkj (t) − Pij (t) ≥−[]1− Pii (h) Pij (t) ≥−[]1− Pii (h)
k =0
∞∞
Pij (t + h) − Pij (t) = ∑ Pik (h)Pkj (t) − Pij (t) ≤∑ Pik (h)Pkj (t) = 1− Pii (h)
k=0 k=0,k≠i
因此 Pij (t + h) − Pij (t) ≤ 1− Pii (h) ;当 h < 0时有类似不等式,故一般地有
Pij (t + h) − Pij (t) ≤ 1− Pii ( h )
令 h → 0就得到证明。
Pij (t) 1− Pii (t)
引理 :当i ≠ j , lim = qij < ∞; lim = qi = −qii ≤∞。
t↓0 t t↓0 t
引理: 。
0 ≤∑ qij ≤ qi ≤∞
j≠i
N P (t) ∞ P (t) 1−