Bootstrap和Jackknife的初步认识.doc

Bootstrap和Jackknife的初步认识
摘要:本文总结了Bootstrap和Jackknife的相关理论知识与已有研究;利用R语言进行模拟,设计复杂抽样方案并进行抽样,对Bootstrap和Jackknife的部分性质进行了验证与解释。除此之外,本文还对Bootstrap和Jackknife估计量的性质进行了简要的介绍,并对方法的改进进行了讨论。
关键词:复杂抽样;Bootstrap;Jackknife;估计
一、发展历史与研究现状
Jackknife是由Quenouille(1949)引入的一种方法,又称刀切法。Jackknife方法的思想是,通过从原始数据集中每次删除一个数据并利用其余数据重新计算估计量,根据得到的一组估计值,可以对待估参数及其他性质进行估计。
Quenouille在1949年提出,可以通过将样本划分为两个半样本的方式,以减少序列相关的估计量的偏差。在其1956年的研究中,提出将样本量为n的样本划分为g组大小为h的样本的方法,并讨论了这种方法的可行性[1][2]。
Jackknife方法在对残差的估计( Rao and ,1970)、区间估计(Tukey)、极大似然估计(Fryer,1970)等方面优良性质均已被证明[1]。
对于多元的Jackknife,Dempster在其1966的研究中,提出了一种改进的Jackknife方法,用于处理典型相关问题。Layard(1972)指出,当传统正态方法对两个协方差矩阵相等性的检验不稳健时,Jackknife方法可以很好的处理。Lachenbruch和Mickey[1]提出了U方法(实际是Jackknife方法的应用)进行判别分析。
,虽然此方法不如原始Jackknife方法实用,但却在Jackknife和稳健估计量之间建立了桥梁(1972)。
Jackknife在其他领域的应用也极为广泛。有研究者将Jackknife与自适应加权相结合,提高了多传感器有关数据处理的精确性和稳健性[3]。还有研究者将Jackknife用于测算准备电位启始时间点[4]。
Bootstrap,又被称为自举法、自助法,是由美国斯坦福大学统计系的Efron(1979)提出的一种重抽样的方法。它以原始数据为基础,即可用于参数估计,又可用于非参数估计,在进行参数估计时只依赖于已有的观测信息,是利用小样本信息构造先验分布的最理想的方法之一。
1979年Efron提出Bootstrap之初,曾因太简单而被杂志拒收,后其发表在《The Annals of Statistics》上[2]。Bootstrap方法提出之后,统计学家争相对其进行研究扩展:Hall对Bootstrap进行了Edgeworth展开;Efron和
Tibshirani对Bootstrap的性质与估计方面进行了详细的理论推导与证明,讨论了其在各种复杂数据结构、回归分析、交叉验证等方面的应用;Lahiri介绍了Bootstrap在非独立数据中的应用;Shao和Tu将Bootstrap与Jackknife进行了系统的介绍与对比。
Bootstrap对独立同分布数据的研究是最早发展的一部分,Singh在此情形证明了在某些条件