毕业设计内容(论文)文献翻译.doc

文献翻译译文评阅导师评语译文:摘自:TheNewtonRaphsonAlgorithmforFunctionOptimizationKevinQuinnAssistantProfessorDepartmentofPoliticalScienceandTheCenterforStatisticsandtheSocialSciencesBox354322,PadelfordHallUniversityofWashingtonSeattle,WA98195-4322October25,2001一、引言通过这个课程的学****我们将有兴趣计算最大似然估计(极大似然估计)。例如我们常常观察到的复杂的非线性函数的数据。因此,通过我们的计算封闭形式的去表达这极大似然估计的形式一般是不会存在模型的牛顿拉夫森算法是一个迭代的过程,可用于计算出极大似然估计。其背后的算法的基本思想的内容。首先,围绕一些初步的参数值构造一个二次近似逼近的有利函数(希望能接近最大似然估计)。其次是,调整参数值让其最大限度地提高二次近似。此过程再不断的重复进行,直到参数值稳定。这就说明开始容易想象出一个函数遇到最大化的一个变量。在这种情况下开发,我们转而更为一般的情况下最大化的一个变量k的函数。二、牛顿拉夫森算法求变量1的函数的最大值2、1泰勒系列的逼近问题牛顿拉夫逊算法的第一部分的发展是设计一个近似函数表示似然函数就可以很容易的最大化的分析。要做到这一点,我们需要利用泰勒定理。定理1(泰勒定理(1维))假设函数f次可微的开区间I上的,对于任意的一点到在I区间上存在的一点在到上例如:.(1)他可以表示成为从到的方程的高阶项从到更快于从到。这就意味着(最小值)这被称作一阶泰勒的近似函数f在x上的,小的值可以构建一个更准确的逼近函数:请注意第一阶泰勒的近似可以重写为被称为一个二阶泰勒的近似函数f在上的值如:,即一阶泰勒的近似的线性函数在上的。同样的,二阶泰勒的近似值可以被改写成为:当,,且。这凸显出的一个事实,即是二阶泰勒近似值是在上的第二阶多项式。2、2查找到的其最大值的二阶多项式假设出我们想要找出的值能最大化的首先,我们计算出的一阶导数的函数为:我们了解到这,当的值是时,其中函数的值达到最大,换句话说,我们都知道求解我们发现。第二阶的条件就是。、3牛顿拉夫森的算法假设我们想要找到的值当最大化的二次连续可微的函数的值。记得当,且。这就意味着:一阶条件的(记为)值能最大化就是是:这就意味着。换而言之就是,在的函数值能最大化的二阶泰勒近似值为函数考虑到这一点,我们可以指定用于一维的函数优化问题的牛顿拉夫森算法。算法2、1:牛顿拉夫森一维的(,,公差)发表评论:找出求的值能最大化的函数:当Do回到注意事项:注意牛顿拉夫森算法,不检查的二阶的必要条件为是最大化。这就意味着,如果你给一个错的开始x的值的算法,你可能最终是最小的,而不是一个最大的。2、4例如:计算二项式抽样模型的极大似然估计看到牛顿拉夫森算法的工程实践中如何让看一个简单的示例,二项式抽样与分析解的简单的模型。我们的对数似然函数是:当为样本容量时,就是成功的次数,是一个取得成功的概率。一阶导数对数似然函数是:二阶导数对数似然函数就是:解析,我们知道的最大似然估计是:。举一个例子,假设且。解析,我们知道的最大似然估计是。让我们来看看如何在这种情况下解出牛顿拉夫森算法。我们首先设置公差级别。在这种情况下的,()。下一步,我们初始猜测的最大似然估计(记为)。假设。。因此我们设置为:。现在我们计算出,它仍然是在绝对值大于的公差。因此我们设置为:是约等于是绝对值小于的公差,这样我们就可以停止了。,。请注意,我们可以设置的容忍水平接近的牛顿拉夫森过程更准确(机器精密度范围内)。三、牛顿拉夫森算法求最大的变量的函数3、1泰勒级数逼近问题维度考虑函数至少有两次的连续可微。假设且。然后给出一阶泰勒近似值在函数上的一个被写为:给出二阶泰勒近似值在函数上的一个被写为:当是梯度(一阶导数的向量)的函数在上时,且是Hessian矩阵(第二衍生矩阵)在函数属于上时。3、2找到最大值的变量的二阶多项式考虑当是一个标量,和是关于K-向量,且是一个的对称矩阵,负正定矩阵。这的梯度在上表示为:我们知道,由于最大化的值满足能最大化的梯度将是一个零矢量,求解我们找出结果如:由于被认为是负定的,而且我们知道这就是最大的。3、3在维度的牛顿拉夫森算法假设我们要找出的最大限度地提高二次连续可微函数。记得当且。请注意矩阵将是对称的,这就意味着是:再