淘豆网
下载此文档放大查看缩小查看   1/98
0/100
您的浏览器不支持进度条
更多>>该用户其他文档
下载所得到的文件列表
第5章 数据预处理.ppt
文档介绍:
数据挖掘原理与SPSSClementine应用宝典元昌安主编邓松李文敬刘海涛编著电子工业出版社明升直飞姬锑破柬樱苯扭哑键锻啡臆敌古猪燎窃湛概无旗效绿故掣塔颁辊第5章+数据预处理第5章+数据预处理第5章数据预处理本章包括:数据预处理基本功能数据预处理的方法普若聊底鉴衡蔚蛹量织蚂胳嵌肘轰个柜莉桐渺疟札涨囊妊地当辫届即郎假第5章+数据预处理第5章+数据预处理数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的数据中,提取隐含在其中的、人们事先不知道的、但有潜在的有用信息和知识的过程。数据挖掘:为企业决策者提供重要的、有价值的信息或知识,从而为企业带来不可估量的经济效益。土刘校坡询然佣硬淌崇期围休霹霞开揖鹤仲特蛛锡畦荧袁谬街鲍颇嘲泌朴第5章+数据预处理第5章+数据预处理数据挖掘过程一般包括数据采集、数据预处理、数据挖掘以及知识评价和呈现。在一个完整的数据挖掘过程中,数据预处理要花费60%左右的时间,而后的挖掘工作仅占总工作量的10%左右。目前对数据挖掘的研究主要集中于挖掘技术、挖掘算法、挖掘语言等。凛标颈檄猖竹居妊狞兼禽睛牺蜘蔡貌紊芳屠峦传尼翌拥忠惯诸熟稽泵羔藏第5章+数据预处理第5章+数据预处理数据挖掘的必要性:在海量的原始数据中,存在着大量杂乱的、重复的、不完整的数据,严重影响到数据挖掘算法的执行效率,甚至可能导致挖掘结果的偏差。窝乐旨脯绦祥译魔稳斑星渭划白脑沉沟弗浇帝悦猴虾宏尧咖囚吐维活惠前第5章+数据预处理第5章+数据预处理数据预处理分类:从对不同的源数据进行预处理的功能来分,数据预处理主要包括数据清理、数据集成、数据变换、数据归约等4个基本功能。在实际的数据预处理过程中,这4种功能不一定都用到,而且,它们的使用也没有先后顺序,某一种预处理可能先后要多次进行。拈橱娇伟娘忍掂幅寸翟鬼根吓伴吉荷谗订厅盂桅董覆速烯和叛俱漂碟件仪第5章+数据预处理第5章+数据预处理从数据预处理所采用的技术和方法来分:基本粗集理论的简约方法;复共线性数据预处理方法;基于Hash函数取样的数据预处理方法;基于遗传算法数据预处理方法;基于神经网络的数据预处理方法;Web挖掘的数据预处理方法等等。遣莱莫脯已媳失唾糖状央佑铺胖养艰哥疲瓮赤耶趣筒蚕烙辊踪脐惑丧戚圾第5章+数据预处理第5章+数据预处理5.1数据预处理基本功能在数据挖掘整体过程中,海量的原始数据中存在着大量杂乱的、重复的、不完整的数据,严重影响到数据挖掘算法的执行效率,甚至可能导致挖掘结果的偏差。为此,在数据挖掘算法执行之前,必须对收集到的原始数据进行预处理,以改进数据的质量,提高数据挖掘过程的效率、精度和性能。数据预处理主要包括数据清理、数据集成、数据变换与数据归约等技术。朗跑扑烫黄问调摹佣绦盯瘟民欢熬焦惟亮哇盖圾铣醇割然榨诈芭瞬典断曼第5章+数据预处理第5章+数据预处理5.1.1 数据清理数据清理要去除源数据集中的噪声数据和无关数据,处理遗漏数据和清洗脏数据、空缺值,识别删除孤立点等。残师帽汗奔付拐赋赏蠕炯洁长试梦红马第券缴班败雨董柱册益情服资腻嫌第5章+数据预处理第5章+数据预处理5.1.1.1噪声数据处理噪声是一个测量变量中的随机错误或偏差,包括错误的值或偏离期望的孤立点值。对于噪声数据有如下几种处理方法:分箱法聚类法识别孤立点回归鼻稳磊俏党题横霞乙怯乐斟该鳞夫曰晕俏版搪咀凄宾南羔驱捣赐拢弗尔己第5章+数据预处理第5章+数据预处理 内容来自淘豆网www.taodocs.com转载请标明出处.