KNN方法(附：knn algorithm).ppt

KNN方法(附：knn_algorithm)多元线性回归模型(附:knn算法代码)
多元线性回归
在实际问题中,常常需要研究一个被解释变量,多个解释变量的线性回归模型
例位于南加州的巴特勒运输公司的管理人员为制定最佳的工作计划,希望估计他们的司机每天行驶的时间。
起初,公司管理人员认为,司机每天行驶的时间与每天运送货物行驶的里程密切相关,通过观察散点图,管理人员假设,能利用一元线性回归模型
来描述行驶的小时数(Y)与行驶的英里数(X)之间的关系。
对公司的实际数据,采用普通最小二乘法估计出回归方程为
通过对方程的分析,公司的管理人员发现,虽然这一结果不错,%。因此希望增加第二个解释变量去解释剩下的变异性。
管理人员在研究其它影响行驶时间的因素时,觉得运送货物的次数也会影响行驶的时间。因此在增加了一个解释变量—运送货物的次数,以及相应的数据后,再进行回归分析,得到的回归方程具有形式
管理人员现在发现,%。这已是相当好的结果了。
多元线性回归模型的基本假设(高斯假设)
多元线性回归模型的矩阵表示
多元线性回归模型
应该对所有的样本数据都成立,因此有
这是n个表达式。回归分析的目的就是利用由样本数据产生的这n个表达式估计模型的参数,得到模型的参数估计值使得回归方程
最好地拟合了所有样本数据。
为便于讨论,对多元线性回归模型,常使用矩阵形式
其中
最小二乘估计式
现在仍采用矩阵的记法,多元线性回归模型为
若得到了参数的估计量则相应的回归方程为
于是残差向量为
普通最小二乘法就是要确定参数的估计值使残差平方和
达到最小。
由于残差的平方和可以表示为
而
要使残差的平方和最小就必须,即
这就是所谓的正规方程组,其解就是要求的估计量。
一般的矩阵可逆。因此正规方程组的解为
这就是要求的最小二乘(OLS)估计量。
K-最近邻分类
分类思想
基于距离的分类算法的思路
定义: 给定一个数据库 D={x1,x2,…,xn}和一组类C={C1,…,Cm}。假定每个元组包括一些数值型的属性值:xi={xi1,xi2,…,xik},每个类也包含数值性属性值:Cj={Cj1,Cj2,…,Cjk},则分类问题是要分配每个xi到满足如下条件的类Cj:
sim(xi,Cj)>=sim(xi,Cl) ,Cl∈C,Cl≠Cj,
其中sim(xi,Cj)被称为相似性。
在实际的计算中往往用距离来表征,距离越近,相似性越大,距离越远,相似性越小。
距离的计算方法有多种,最常用的是通过计算每个类的中心来完成。