约束情况下的最小二乘法-清华高能物理中心-清华大学.ppt

粒子物理与核物理实验中的数据分析杨振伟清华大学第九讲: 最小二乘法上一章回顾?四种方法给出最大似然估计的方差?数值方法?蒙特卡罗方法? RCF 边界方法?图解法?双参数的最大似然法( 等高线) ?推广的最大似然法(样本总量为随机数) ?最大似然法处理分区数据(区间大小) ?用最大似然法合并多组测量结果 1/24/2017 2 1/24/2017 3本讲要点?最小二乘法与最大似然法的关系?线性情况下的最小二乘估计?非线性情况下的最小二乘估计* ?约束情况下的最小二乘法* ?检验最小二乘法的拟合优度?应用最小二乘法处理分区数据?不等精度关联实验结果的并合问题 1/24/2017 4最小二乘法与最大似然法设有高斯随机变量: y i, i =1, …,N ,均值为[ ] ( ; ) i i i E y x ? ??? ?? 2 1 , ..., [ ] N i i x x V y ??这里,与已知。 2 22 21 ( ) 1 ( ; , ) exp 22 N i i iiiy g y ?? ?????? ?? ??? ?? ?????对应的对数似然函数(去掉与?无关的项)为 221 [ ( ; )] 1 log ( ) 2 N i i ii y x L ? ?????????? 2 221 [ ( ; )] ( ) N i i ii y x ? ?? ???????? 2 log ( ) L???求的最大值等效于求的最小值。??为了估计参数,可以用曲线拟合所有的测量点(见右图)。对于独立的高斯变量 y i,联合概率密度函数为 1/24/2017 5最小二乘估计量的定义如果 y i是多维高斯变量,协方差矩阵为 V ,满足???? 1 / 2 1/ 2 1 1 ( ; , ) exp (2 ) | | 2 T N g y V y V y V ? ????? ?? ???? ?? ?? ??? ??那么其对数似然函数为 1 11 log ( ) [ ( ; )]( ) [ ( ; )] 2 N i i ij j j i L y x V y x ? ???????? ? ??? ??也就是说,我们应求下式的最小值 2 1 , 1 ( ) [ ( ; )]( ) [ ( ; )] N i i ij j j i j y x V y x ? ? ??????? ? ??? ??它的最小值定义了最小二乘法的估计量?,即使 y i不是高斯变量,该定义依然适用。(实际上, y i通常是高斯的,因为中心极限定理会导出测量误差近似高斯。) 1/24/2017 6两种情况下的最小二乘参数估计 2 1 , 1 ( ) [ ( ; )]( ) [ ( ; )] N i i ij j j i j y x V y x ? ? ??????? ? ??? ??尽管上式对任何含参数函数的具体形式均成立,但是,对参数的估计,可以根据理论预期值中所含参数的具体特征而采用不同的参数估计处理方法,简化问题。线性情况: 1 ( ; ) ( ) m j j j x a x ? ? ???????非线性情况: 1 ( ; ) ( ) m j j j x a x ? ? ??????? 1/24/2017 7线