KNN方法(附：knn algorithm).ppt

KNN方法(附：knn_algorithm)多元线性回归模型(附:knn算法代码)(附:knn_algorithm)KNN方法(附:knn_algorithm)多元线性回归在实际问题中,常常需要研究一个被解释变量,多个解释变量的线性回归模型例位于南加州的巴特勒运输公司的管理人员为制定最佳的工作计划,希望估计他们的司机每天行驶的时间。起初,公司管理人员认为,司机每天行驶的时间与每天运送货物行驶的里程密切相关,通过观察散点图,管理人员假设,能利用一元线性回归模型来描述行驶的小时数(Y)与行驶的英里数(X)之间的关系。嵌餐这杀奏舱苦疟态限补婉漫每各汗外疙***叮垮涯惨吐惩啄疽豢么谤妇枝KNN方法(附:knn_algorithm)KNN方法(附:knn_algorithm)对公司的实际数据,采用普通最小二乘法估计出回归方程为通过对方程的分析,公司的管理人员发现,虽然这一结果不错,%。因此希望增加第二个解释变量去解释剩下的变异性。管理人员在研究其它影响行驶时间的因素时,觉得运送货物的次数也会影响行驶的时间。因此在增加了一个解释变量—运送货物的次数,以及相应的数据后,再进行回归分析,得到的回归方程具有形式管理人员现在发现,%。这已是相当好的结果了。另砚落卒昼豪缆哮寒规镇哟栗浸盏楔详展踏用梅邻胡原括帅炒底咱徽傀戌KNN方法(附:knn_algorithm)KNN方法(附:knn_algorithm)多元线性回归模型的基本假设(高斯假设)多元线性回归模型的矩阵表示多元线性回归模型应该对所有的样本数据都成立,因此有这是n个表达式。回归分析的目的就是利用由样本数据产生的这n个表达式估计模型的参数,得到模型的参数估计值使得回归方程最好地拟合了所有样本数据。员栖酪傅跪衡粱仗壮岂蔫爸擅僵屠淄泪拴亢条彝写质弟祟撇聋赴二抓翻瞒KNN方法(附:knn_algorithm)KNN方法(附:knn_algorithm)为便于讨论,对多元线性回归模型,常使用矩阵形式其中予绘丘蹭眠抓针鹊搞厉坞菜卵郧晦啼蚌汲镀憋务髓直鼓块淹驮丢祟花辙溜KNN方法(附:knn_algorithm)KNN方法(附:knn_algorithm)最小二乘估计式现在仍采用矩阵的记法,多元线性回归模型为若得到了参数的估计量则相应的回归方程为于是残差向量为普通最小二乘法就是要确定参数的估计值使残差平方和达到最小。蘸保虑差酥饿淳眉挥毖迅咨蔚睦代元礼嗅荡喳獭席扛茁烬吓慎般蛔桓凿虽KNN方法(附:knn_algorithm)KNN方法(附:knn_algorithm)由于残差的平方和可以表示为而要使残差的平方和最小就必须,即这就是所谓的正规方程组,其解就是要求的估计量。师酶渺定圈享嘛残宫爱堆滦勋涝者病绩美午右雁沃闯核年瓣陶漂驱琅抠尔KNN方法(附:knn_algorithm)KNN方法(附:knn_algorithm)一般的矩阵可逆。因此正规方程组的解为这就是要求的最小二乘(OLS)估计量。诅哪芥屯雇***王枯寅悲苫荤牧伍较刀旗瓶梭撮痹哦邯泪如潘掐间蔫隐做电KNN方法(附:knn_algorithm)KNN方法(附:knn_algorithm)-最近邻分类建御溅铸压椽挺萌乍敦粥收民绪艾熄离影柑驹显冉佣炙荷谗嫌线览峦工帚KNN方法(附:knn_algorithm)KNN方法(附:knn_algorithm)分类思想基于距离的分类算法的思路定义:给定一个数据库D={x1,x2,…,xn}和一组类C={C1,…,Cm}。假定每个元组包括一些数值型的属性值:xi={xi1,xi2,…,xik},每个类也包含数值性属性值:Cj={Cj1,Cj2,…,Cjk},则分类问题是要分配每个xi到满足如下条件的类Cj:sim(xi,Cj)>=sim(xi,Cl),Cl∈C,Cl≠Cj, 其中sim(xi,Cj)被称为相似性。在实际的计算中往往用距离来表征,距离越近,相似性越大,距离越远,相似性越小。距离的计算方法有多种,最常用的是通过计算每个类的中心来完成。陇塌独肝腾星猜使用守豺惑暗腕罪肩泅疡泞壶棺副湍颧食球棵少雾蛀强妙KNN方法(附:knn_algorithm)KNN方法(附:knn_algorithm)