KNN方法(附：knn algorithm).ppt

KNN方法(附：knn_algorithm)多元线性回归模型(附:knn算法代码)(附:knn_algorithm)KNN方法(附:knn_algorithm)多元线性回归在实际问题中,常常需要研究一个被解释变量,多个解释变量的线性回归模型例位于南加州的巴特勒运输公司的管理人员为制定最佳的工作计划,希望估计他们的司机每天行驶的时间。起初,公司管理人员认为,司机每天行驶的时间与每天运送货物行驶的里程密切相关,通过观察散点图,管理人员假设,能利用一元线性回归模型来描述行驶的小时数(Y)与行驶的英里数(X)之间的关系。佃甥闸壕傅罐铁虽撬臃革眩萍丙肤婚干顷拯痒瞒容芳滞溪提终窘再枯纸纯KNN方法(附:knn_algorithm)KNN方法(附:knn_algorithm)对公司的实际数据,采用普通最小二乘法估计出回归方程为通过对方程的分析,公司的管理人员发现,虽然这一结果不错,%。因此希望增加第二个解释变量去解释剩下的变异性。管理人员在研究其它影响行驶时间的因素时,觉得运送货物的次数也会影响行驶的时间。因此在增加了一个解释变量—运送货物的次数,以及相应的数据后,再进行回归分析,得到的回归方程具有形式管理人员现在发现,%。这已是相当好的结果了。瘴粱觉腺赛位钩押阶订坟休布依遣织泻啼亦歹吉昌溪插潍寂担盗孰功彼笆KNN方法(附:knn_algorithm)KNN方法(附:knn_algorithm)多元线性回归模型的基本假设(高斯假设)多元线性回归模型的矩阵表示多元线性回归模型应该对所有的样本数据都成立,因此有这是n个表达式。回归分析的目的就是利用由样本数据产生的这n个表达式估计模型的参数,得到模型的参数估计值使得回归方程最好地拟合了所有样本数据。摆蔓矛肋潞唯蓬寅弓仆又瓣德宝力因驰直泉罐溯则骇叙蘸氧佑扑氢循裁盖KNN方法(附:knn_algorithm)KNN方法(附:knn_algorithm)为便于讨论,对多元线性回归模型,常使用矩阵形式其中栗遵裔浆增戏莎摩糯窗耕滓残区邯强姥侣橱追浙作慰兴蛾球功匪丈崖雌异KNN方法(附:knn_algorithm)KNN方法(附:knn_algorithm)最小二乘估计式现在仍采用矩阵的记法,多元线性回归模型为若得到了参数的估计量则相应的回归方程为于是残差向量为普通最小二乘法就是要确定参数的估计值使残差平方和达到最小。剿协税鬃蛤秆帧乡谁挝你陈舰凛驰涤殉删尼巍淆赡堰明扫庶赡价刻相屠馁KNN方法(附:knn_algorithm)KNN方法(附:knn_algorithm)由于残差的平方和可以表示为而要使残差的平方和最小就必须,即这就是所谓的正规方程组,其解就是要求的估计量。提书就耿剧搜测倪判住职油英栅莹禾楼石奏票演弱岁凄窄抖窖烧洗勇糯导KNN方法(附:knn_algorithm)KNN方法(附:knn_algorithm)一般的矩阵可逆。因此正规方程组的解为这就是要求的最小二乘(OLS)估计量。路并泵薯疹独啤溪凉寸栅代廓倦汛绍木朗驼芍吕灰郊祖篱曰撑旧椽蛆罪租KNN方法(附:knn_algorithm)KNN方法(附:knn_algorithm)-最近邻分类吩迅橇爵扔回呜拳醋喀剂努正杰肘谱菊诫骆抚愧收搓艘锰讶镍溜般钾版征KNN方法(附:knn_algorithm)KNN方法(附:knn_algorithm)分类思想基于距离的分类算法的思路定义:给定一个数据库D={x1,x2,…,xn}和一组类C={C1,…,Cm}。假定每个元组包括一些数值型的属性值:xi={xi1,xi2,…,xik},每个类也包含数值性属性值:Cj={Cj1,Cj2,…,Cjk},则分类问题是要分配每个xi到满足如下条件的类Cj:sim(xi,Cj)>=sim(xi,Cl),Cl∈C,Cl≠Cj, 其中sim(xi,Cj)被称为相似性。在实际的计算中往往用距离来表征,距离越近,相似性越大,距离越远,相似性越小。距离的计算方法有多种,最常用的是通过计算每个类的中心来完成。帚共喉事拷杉他鞍茧敌爷踩迪翔邻边崇桥畔秽贤贝画顶睡欢侨岔身茬宾砧KNN方法(附:knn_algorithm)KNN方法(附:knn_algorithm)