马尔可夫过程在信源编码中的应用.doc

河南城建学院马尔科夫过程在信源编码中的应用信息论基础姓名:王坤专业名称:电子信息工程专业班级:指导老师:贺伟所在院系:电气与信息工程学院2014年12月20日摘要首先主要讲述了马尔科夫过程,对马尔科夫过程进行了简介,介绍了马尔科夫过程的数学描述方法并对马尔科夫过程的发展历史进行了简述。在第二章节对马尔科夫过程在信源编码中的应用进行了简单的论述及讲解。信息论中的编码主要包括信源编码和信道编码。信源编码的主要目的是提高有效性,通过压缩每个信源符号的平均比特数或降低信源的码率来提高编码效率;信道编码的主要目标是提高信息传输的可靠性,在信息传输率不超过信道容量的前提下,尽可能增加信源冗余度以减小错误译码概率。研究编码问题是为了设计出使通信系统优化的编译码设备随机过程是与时间相关的随机变量,在确定的时刻它是随机变量。随机过程的具体取值称作其样本函数,所有样本函数构成的集合称作随机过程的样本函数空间,所有样本函数空间及其统计特性即构成了随机过程。目录1引言……………………………………………………………12马尔科夫过程…………………………………………………23马尔科夫过程在信源编码中的应用…………………………44参考文献………………………………………………………131引言随着现代科学技术的发展,特别是移动通信技术的发展,信息的传输在社会科学进步的地位越来越重要。因此如何更加高效的传输信息成了现代科技研究的重要目标。马尔可夫过程是一类非常重要的随机过程。很多在应用中出现的马氏过程模型的研究受到越来越多的重视。在现实世界中,有很多过程都是马尔可夫过程,马尔可夫过程在研究质点的随机运动、自动控制、通信技术、生物工程等领域中有着广泛的应用。我们可以通过对马尔可夫过程的研究来分析马尔可夫信源的特性。由于研究马尔科夫过程在信源编码中的作用,可以利用马尔科夫模型减少信息传输的冗余,提高信息传输的效率。马尔可夫信源是一类有限长度记忆的非平稳离散信源,信源输出的消息是非平稳的随机序列,它们的各维概率分布可能会随时间的平移而改变。由于马尔可夫信源的相关性及可压缩性,它已成为信息领域的热点问题。(MARKOVProcess)是一个典型的随机过程。设X(t)是一随机过程,当过程在时刻t0所处的状态为已知时,时刻t(t>t0)所处的状态与过程在t0时刻之前的状态无关,这个特性成为无后效性。无后效的随机过程称为马尔科夫过程。马尔科夫过程中的时同和状态既可以是连续的,又可以是离散的。:在已经时刻t0系统所处状态的条件下,在时刻t0以后系统到达的情况与时刻t0以前系统所处的状态无关,完全取决于时刻t0系统所处的状态。这个特性称为无后效性,也称为“马尔可夫性”。马尔可夫过程数学定义如下:设{X(t),tT}为随机过程,如果对于任意正整数n及,,并且其条件分布为则称{X(t),tT}为马尔可夫过程,或称该过程具有马尔可夫性。按照时间和状态的离散、连续情况马尔可夫过程可分为三类:(1)时间与状态(空间)都离散的过程,称为马尔可夫链;(2)时间连续与状态(空间)离散的过程,称为连续时间的马尔可夫过链;(3)时间与状态(空间)都连续的马尔可夫过程。:设有随机过程{Xn,nT},若对于任意的整数nT和任意的i0,i1,…in+1I,条件概率满足则称为马尔科夫链,简称马氏链。,研究马尔可夫过程的主要工具是微分方程和半群理论;1936年前后就开始探讨马尔可夫过程的轨道性质,直到把微分方程和半群理论的分析方法同研究轨道性质的概率方法结合运用,才使这方面的研究工作进一步深化,并形成了对轨道分析必不可少的强马尔可夫性概念。1942年,伊藤清用他创立的随机积分和随机微分方程理论来研究一类特殊而重要的马尔可夫过程──扩散过程,开辟了研究马尔可夫过程的又一重要途径。出于扩大极限定理应用范围的目的,马尔科夫在20世纪初开始考虑相依随机变量序列的规律,并从中选出了最重要的一类加以研究。1906年他在《大数定律关于相依变量的扩展》一文中,第一次提到这种如同锁链般环环相扣的随机变量序列,其中某个变量各以多大的概率取什么值,完全由它前面的一个变量来决定,而与它更前面的那些变量无关。这就是被后人称作马尔科夫链的著名概率模型。也是在这篇论文里,马尔科夫建立了这种链的大数定律。马尔科夫链的引入,在物理、化学、天文、生物、经济、军事等科学领域都产生了连锁性的反应,很快地涌现出一系列新的课题、新的理论和新的学科,并揭开了概率论中一个重要分支--随机过程理论蓬勃发展的序幕。