马尔科夫.pptx

马尔科夫
马尔科夫过程
状态转移矩阵
马尔科夫预测
隐马尔科夫过程
马尔科夫过程
随机变量:一变量x,能随机地取数据(但不能准确地预言它取何值),而对于每一个数值或某一个范围内的值有一定的概率,那么称x为随机变量。
在试验过程中,随机变量可能随某一参数(不一定是时间)的变化而变化。
随机函数:如测量大气中空气温度变化x = x(h),随高度变化。这种随参变量而变化的随机变量称为随机函数。
随机过程:以时间t作参变量的随机函数称为随机过程。
一种随机过程,具有“无后效性质”,即在已知目前状态(现在)的条件下,它未来的变化(将来)不依赖于以往的变化,而仅仅跟目前所处的状态有关。这种随机过程称为马尔科夫过程,即过程“将来”的情况与“过去”的情况是无关的。
例如:假定天气是马尔可夫的,其意思就是我们假设今天的天气仅仅与昨天的天气存在概率上的关联,而与前天及前天以前的天气没有关系。其它如传染病和谣言的传播规律,就是马尔可夫的。
某时刻的事件受在这之前事件的影响,其影响范围有限的随机过程,为马尔可夫过程。一个事件受在它之前的事件的影响的深远程度,通常用在它之前的事件作为条件的概率来表达。受前一个事件的影响,简称为马尔可夫过程;受前两个事件的影响,称为二阶马尔可夫过程;受前三个事件的影响,称为三阶马尔可夫过程。
时间和状态都是离散的马尔科夫过程称为马尔科夫链。具有无后效性的时间序列。所谓无后效性是指序列将来处于什么状态只与它现在所处的状态有关,而与它过去处于什么状态无关。
状态转移矩阵
转移概率:条件概率Pij(m,m + n) = PXm + n = aj | Xm = ai为马氏链在时刻m处于状态ai条件下,在时刻m+n转移到状态aj的转移概率。
当 k=1 时,一步转移概率:Pij = Pij(1) = PXm + 1 = aj | Xm = ai。
概率矩阵:系统有N个状态,描述各种状态下向其他状态转移的概率矩阵
例:
荷花池里有N张荷叶,在时刻Tn时,它所在的那张荷叶,称为青蛙现在所处的状态。,只与它现在所处的状态i (i=l,2,…,N)有关,与它以前在哪张荷叶上无关。记Xn为时刻Tn青蛙所处的状态。
P(Xn+1=j/Xn=i)=Pi,j  ,  其中,i,j=1,2,…N. 表示在Tn时刻青蛇在第i张荷叶上。在下一个时刻Tn+1跳到第j张荷叶上的可能性,又称为从状态i经一步转移到j的概率,简称为一步转移概率。将这些 Pi,j依序排列起来,就构成一个矩阵,叫做转移概率矩阵。
                  P11    P12    ...   P1n
 P     =   [     P21    P22    ...   P2n  ]
                              ...
                Pn1    Pn2    ...   Pnn
马尔科夫预测
例:
A,B,,   ,。根据市场调查得知、顾客的流动情况如下:   
   A                   B                      C                                        
A                                             
B                                              
C                                             
市场的初始状态为S(0)=(,,)
转移概率P为
                                      
             P     =   [                 ]
                                           
    
S(1)=S(0)*P=(,  ,   ),这个月A,B,C电脑的市场占有率为54%,20%,26%
S(2)=S(1)*p=S(0)*P^2=(,  ,  ),下个月A,B,%,%,26%
马尔科夫过程样例图
隐马尔科夫过程
与马尔科夫相比,隐马尔科夫模型则是双重随机过程,不仅状态转移之间是个随机事件,状态和输出之间也是一个随机过程
该图上