贝叶斯公式的简介.doc

2021年12月9日
贝叶斯公式在人工智能中的应用
公式
贝叶斯定理 若A1,A2,…,An构成完备事件组,且P(Ai)>0，(i =1,2,…,n)， 则对任一事件B(P(B)>0)有
上式称为贝叶斯公式.
概率推理 若有命题变量V1,V2,…,Vn的一个集合υ，并给定υ的子集ε中的变量的某些值ε=e（Ture or Flase)作为证据。我们希望计算概率，即给定证据时变量Vi,的值为的条件概率。我们把这个过程叫概率推理。
由于Vi有值True或False，故我们对两个条件概率感兴趣，它们是p（vi=True|ε=e）和p（vi=flase|ε=e）。当然，我们只要计算它们中的一个就行了，因为有
p（vi=True|ε=e）+p（vi=Flase|ε=e）=1.
不管ε为何值，用条件概率的定义，我们有
其中，p(vi=true,ε=e)通过使用从高阶联合概率密度计算低阶联合概率的方法获得：
.
p(ε=e)的计算能用同样的方法进行。
发展历史
贝叶斯 Thomas Bayes，，做过神甫。1742年成为英国皇家学会会员。1763年4月7日逝世。贝叶斯在数学方面主要研究概率论。他首先将归纳推理法用于概率论基础理论，并创立了贝叶斯统计理论，对于统计决策函数、统计推断、，对于现代概率论和数理统计都有很重要的作用。贝叶斯的另一著作《机会的学说概论》发表于1758年。贝叶斯所采用的许多术语被沿用至今。

贝叶斯决策理论是主观贝叶斯派归纳理论的重要组成部分。贝叶斯决策就是在不完全情报下，对部分未知的状态用主观概率估计，然后用贝叶斯公式对发生概率进行修正，最后再利用期望值和修正概率做出最优决策。

贝叶斯决策理论方法是统计模型决策中的一个基本方法，其基本思想是：1、已知类条件概率密度参数表达式和先验概率；2、利用贝叶斯公式转换成后验概率；3、根据后验概率大小进行决策分类。

他对统计推理的主要贡献是使用了"逆概率"这个概念，并把它作为一种普遍的推理方法提出来。贝叶斯定理原本是概率论中的一个定理，这一定理可用一个数学公式来表达，这个公式就是著名的贝叶斯公式。贝叶斯公式是他在1763年提出来的：假定B1,B2,……是某个过程的若干可能的前提，则P(Bi)是人们事先对各前提条件出现可能性大小的估计，称之为先验概率。如果这个过程得到了一个结果A，那么贝叶斯公式提供了我们根据A的出现而对前提条件做出新评价的方法。P(Bi∣A)既是对以A为前提下Bi的出现概率的重新认识，称 P(Bi∣A)为后验概率。经过多年的发展与完善，贝叶斯公式以与由此发展起来的一整套理论与方法，已经成为概率统计中的一个冠以“贝叶斯”名字的学派，在自然科学与国民经济的许多领域中有着广泛应用。
应用
1 基于词的统计机器翻译
基于词的统计机器翻译，顾名思义，其主要思想是以词作为翻译的基本单位。训练时，它从语料库中统计目标语言单词翻译为源语言单词的概率。翻译时，首先查找每个源语言单词所对应的目标语言单词，然后插入、删除目标语言单词，并调整它们的顺序，最后组合成目标语言句子。这种方法的典型代表就是上世纪90年代初期I