最小二乘法原理.docx

最小二乘法
中文名称:
最小二乘法
英文名称:
least square method
定义:
最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。  
最小二乘法公式
最小二乘法公式
∑(x-)(y-)=∑(xy--y--X+)
=∑XY--∑Y--∑X+n
=∑XY--n--n+n
=∑xy--n
∑(x --)^2
=∑(X^2--2X+^2)
=∑X^2--2n^2+n^2
=∑X^2--n^2
最小二乘法原理
在我们研究两个变量(x, y)之间的相互关系时,通常可以得到一系列成对的数据(x1, y1、x2, y2... xm , ym);将这些数据描绘在x -y直角坐标系中, 若发现这些点在一条直线附近,可以令这条直线方程如(式1-1)。
Y计= a0 + a1 X (式1-1)
其中:a0、a1 是任意实数
为建立这直线方程就要确定a0和a1,应用《最小二乘法原理》,将实测值Yi与利用(式1-1)计算值(Y计=a0+a1X)的离差(Yi-Y计)的平方和〔∑(Yi - Y计)2〕最小为“优化数据”。

令: φ= ∑(Yi - Y计)2 (式1-2)

把(式1-1)代入(式1-2)中得:
φ= ∑(Yi - a0 - a1 Xi)2 (式1-3)
当∑(Yi-Y计)平方最小时,可用函数φ对a0、a1求偏导数,令这两个偏导数等于零。
(式1-4)
(式1-5)

亦即:
m a0 + (∑Xi)a1 = ∑Yi (式1-6)
(∑Xi )a0 + (∑)a1 = ∑(Xi*Yi) (式1-7)
得到的两个关于a0、a1为未知数的两个方程组,解这两个方程组得出:

a0 = (∑Yi)/m - a1(∑Xi)