最小二乘法数据拟合与回归.pdf

: .
最小二乘法数据拟合与，参数的数目并不是模型复杂度最好的度量。
同时很不爽的是我们需要根据训练集合的数据大小 (size of the available training
set)来限制模型的参数数目。看上去更自然的是根据要解决问题的复杂度来选择模型的复
杂度。
我们将要看到最小二乘法和最大似然法是一致的 （前面的单一参数线性回归的例子已经给
了一个证明：）。如果采用贝叶斯方法，过度拟合问题可以避免。 从贝叶斯的角度，实施用
一个参数数目远多于 data points 的模型是可行的，事实上在贝叶斯模型，有效的参数数
目可以根据 data set 的大小自动调整。
当下从最小二乘法的角度，为了解决过度拟合的问题，我们可以改变优化目标，加入
reularization,限制|w|的值过大。4. 贝叶斯概率
考虑仍一个硬币 3 次，假如我们 3 次观察到的结果都是背面，那么从最大似然的角度，我
们会判定硬币观察到背面的可能性是 100%，而如果我们有一定的先验知识我们不会得出
这种结论。
考虑我们有红色和蓝色两个盒子，红色的盒子里面有 2 个苹果 6 个橘子，蓝色的盒子有 3
个苹果 1 个橘子。
假定我们选取红色盒子的概率是 40%，选取蓝色盒子的概率是 60%，那么我们从 2 个盒
子 中 取 到 一 个 苹 果 的 概 率 是 (2/(2+6))* +
(3/(3+1))*=+==11/20，取到橘子的概率是 。
假定我们被告知我们取到了一个水果这个水果是橘子,那么我们是从哪个盒子里面取到它的
呢？这个盒子是红色的可能性多大呢？显然直观的想试红色盒子的可能性不再是 40%了
（先验知识 P(B=r)），而是变得更大了，因为红色的盒子里面更有可能取到橘子。即在知
道取到是橘子的情况下盒子是红色的概率变大了（后验概率 P(B=r|F=o),注意假如橘子
在红色和蓝色中出现的可能性相同 P(F=o)和 P(F=o|B=r)相同则后验概率与先验概率相
同 , 这 个 时 候 P(B=r)=P(B=r|F=o) 即 取 到 的 水 果 和 选 取 的 盒 子 概 率 无 关
P(B=r,F=o)=P(F=o)*P(B=r|F=o)=P(F=o)*P(B=r) )。贝叶斯理论用来帮助转换先验概率(prior probability)到后验概率(posterior probability)
而转换的的依据是通过观察数据得到的信息。
对于曲线拟合中的参数 w 我们也可以利用贝叶斯理论，在观察训练数据前，我们有一个关
于 w 的先验概率分布 ,观察到的数据 , 可以表述为 ,于是有
表示了在特定 的情况下，观察到的数据发生的可能性。
曲线拟合问题其实是这样的，我们拥有的数据是 N 个输入数据 X=（x1,x2,…xn),以及它
们对应的目标值 target value:t = (t1,t2,…tn),目标是对于给定的新的 x 我们给出目标
值的预测 t。(t 取值是离散的话其实这就是分类问题），与开头的直线拟合一样，这里假设
数据点符合独立的高斯分布，均值是 y(x,w)即参数取 w 时候对应模型在取 x 时候的目标值，
方差是 ,于