机器学习常用模型及优化.docx

百度文库•让每个人平等地提升自我
8
第一章模型建立
回归模型:
条件：
.数据
.假设的模型
结果：
用模型对数据学****预测新数据
一元线性回归模型（最小二乘法）
它通过最小化误差的平方和寻找数据的最佳函数匹配
我们以最简单的一元线性模型来解释最小二乘法。什么是一元线性模型呢？ 监督学****中，如果预测的变量是离散的，我们称其为分类（如决策树，支持向量 机等），如果预测的变量是连续的，我们称其为回归
假设从总体中获取了 n组观察值（XI, Yl ）, （X2, Y2）, ...» （Xii, Yn）
平方损失函数
2=1

为变最，把它们右作是q的函数，就变成r一
个求极值的问即，可以通过求导数得到。求q对两个待估参数的偏导数:
百度文库•让每个人平等地提升自我
8
明）
dO
〔的
二2± 亿一4-«乂)(-1) =0 1=1
2工(广功-夕区)(-％)= 0 2-1
百度文库•让每个人平等地提升自我
8
根据敌学知识我们知道,曲数的极值点为候导为0的点。
解得:
心 x：-（Zx）2
'一过片-（zx）2
逻辑回归模型
将线性回归中的一次模型变成逻辑回归函数，即sigmoid函数。
/⑴=^ =占
或者:
MX) = 1/ 八下、
1 + cxp(-(?Tz)
其他的思路和想法与线性回归一样，所以说逻辑回归的模型是一个非线性模 型，但是它本质上乂是一个线性回归模型
损失函数（误差函数）为：
m
J(0) 10gL(/)) + (1 - yG))k>g(l - %(一)))
softmax 回归
它是逻辑回归的扩展
从分类的角度来说，逻辑回归只能将东西分成两类（0,1）, softmax可以分 成多类
逻辑回归中，模型函数（系统函数）为：
加"）:1 I cxp（-^）
So丘max回归中，模型函数（系统函数）为：
百度文库•让每个人平等地提升自我
8
p(v")= U) p(m)=2.㈤；9)
■ * * p(yG)=川①⑴；。) . ■
神经网络模型
神经元
首先来一个三输入单输出的神经元，输入输出都是二进制（0,1）。举例来说：
XI表示天气是否好
X2表示交通是否好
X3表示是否有女朋友陪你
丫表示你是否去电影院看电影
要让这个神经元工作起来，需要引入权重，wl,w2,w3o这样就有了：
{
0 讦 WjXj < threshold
1 if 2^^ WjXj > threshold 】
W1表示“天气是否好”对你做决定的重要程度
W2表示”交通是否好”对你做决定的重要程度
W3表示”是否有女朋友陪你”对你做决定的重要程度
Threshold越低表示你越想去看电影，风雨无阻你都想去。Threshold越高表 示你越不想去看电影，天气再好也白搭。Thieshold适中表示你去不去电影院要 看情况，看心情。
神经网络
现在扩展一下：
百度文库•让每个人平等地提升自我
8
inputs
-> output
这样就出现神经网络了，可以看出这是很多神经元组合成的。
把上面的（1）式中的thres