机器学习常用模型及优化.doc

第一章 模型建立
回归模型：
条件：
数据
假设的模型
结果：
用模型对数据学****预测新数据
一元线性回归模型（最小二乘法）
它通过最小化误差的平方和寻找数据的最佳函数匹配
我们以最简单的一元线性模型来解释最小二乘法。什么是一元线性模型呢？ 监督学****中，如果预测的变量是离散的，我们称其为分类（如决策树，支持向量机等），如果预测的变量是连续的，我们称其为回归
假设从总体中获取了n组观察值（X1，Y1），（X2，Y2）， …，（Xn，Yn）
平方损失函数
逻辑回归模型
将线性回归中的一次模型变成逻辑回归函数，即sigmoid函数。
或者：
其他的思路和想法与线性回归一样，所以说逻辑回归的模型是一个非线性模型，但是它本质上又是一个线性回归模型
损失函数（误差函数）为：
softmax回归
它是逻辑回归的扩展
从分类的角度来说，逻辑回归只能将东西分成两类（0,1），softmax可以分成多类
逻辑回归中，模型函数（系统函数）为：
Softmax回归中，模型函数（系统函数）为：
神经网络模型
神经元
首先来一个三输入单输出的神经元，输入输出都是二进制（0,1）。举例来说：
X1表示天气是否好
X2表示交通是否好
X3表示是否有女朋友陪你
Y表示你是否去电影院看电影
要让这个神经元工作起来，需要引入权重，w1,w2,w3。这样就有了：
（1）
W1表示”天气是否好”对你做决定的重要程度
W2表示”交通是否好”对你做决定的重要程度
W3表示”是否有女朋友陪你”对你做决定的重要程度
Threshold越低表示你越想去看电影，风雨无阻你都想去。Threshold越高表示你越不想去看电影，天气再好也白搭。Threshold适中表示你去不去电影院要看情况，看心情。
神经网络
现在扩展一下：
这样就出现神经网络了，可以看出这是很多神经元组合成的。
把上面的（1）式中的threshold用偏移量-b表示，并且移到不等式左边，出现下面（2）式：
（2）
例子就不举了，原文是实现与非门的一个例子，说明这个东西可以进行逻辑推理，它就很有潜力了，电脑就是靠逻辑加运算来实现各种功能。
现在要用这个东西学****识别手写字体，我们的想法是这样的：
举例来说，电脑错把9当成了8，那么我们希望通过自动调整w或b来对output进行调整，以达到正确的结果。这时网络会自己“学****了。
具体是这样的：
其中是sigmoid函数：
下面是sigmoid函数的图形
它是阶梯函数的一个平滑：
输出通过w和b进行微调的式子是这样的：
这个式子比较抽象，它只是战略性的一个式子，下面引入cost函数来进行战术实践。Cost函数是评价模型准确与否的一个函数，它可能越大越好，也可能越小越好，看你怎么构造了。这里用均方误差来构造：
这个函数越小越好，所以通过使这个函数变得最小来得到最好的w和b，也就是达到最好的学****效果。
最大似然估计
X的一个样本X1，X2，