数据挖掘的清洗.ppt

该【数据挖掘的清洗 】是由【小落意】上传分享，文档一共【47】页，该文档可以免费在线阅读，需要了解更多关于【数据挖掘的清洗 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。数据挖掘的清洗
为什么需要数据预处理?
在现实社会中,存在着大量的“脏”数据
不完整性(数据结构的设计人员、数据采集设备和数据录入人员)
缺少感兴趣的属性
感兴趣的属性缺少部分属性值
仅仅包含聚合数据,没有详细数据
噪音数据(采集数据的设备、数据录入人员、数据传输)
数据中包含错误的信息
存在着部分偏离期望值的孤立点
不一致性(数据结构的设计人员、数据录入人员)
数据结构的不一致性
Label的不一致性
数据值的不一致性
2022/12/2
2
为什么需要数据预处理?
数据挖掘的数据源可能是多个互相独立的数据源
关系数据库
多维数据库(DataCube)
文件、文档数据库
数据转换
为了数据挖掘的方便
海量数据的处理
数据归约(在获得相同或者相似结果的前提下)
2022/12/2
3
为什么需要数据预处理?
没有高质量的数据,就没有高质量的挖掘结果
高质量的决策必须基于高质量的数据基础上
数据仓库是在高质量数据上的集成
2022/12/2
4
数据预处理的主要任务
数据清理
填入缺失数据
平滑噪音数据
确认和去除孤立点
解决不一致性
数据集成
多个数据库、DataCube和文件系统的集成
数据转换
规范化、聚集等
数据归约
在可能获得相同或相似结果的前提下,对数据的容量进行有效的缩减
数据离散化
对于一个特定的连续属性,尤其是连续的数字属性,可以把属性值划分成若干区间,以区间值来代替实际数据值,以减少属性值的个数.
2022/12/2
5
数据预处理的形式
数据清理
数据集成
数据转换
数据归约
2022/12/2
6
主要内容
为什么需要数据预处理?
数据清洗
数据集成与转换
数据归约
数据离散化与概念层次的构建
本章小结
2022/12/2
7
数据清洗
主要任务
补充缺失数据
识别孤立点,平滑噪音数据
处理不一致的数据
2022/12/2
8
缺失数据的处理
部分数据通常是不可用的
在许多元组中部分属性值为空。如:在客户表中的客户收入为空。
导致数据缺失的原因
数据采集设备的故障
由于与其它信息的数据存在不一致性,因此数据项被删除
由于不理解或者不知道而未能输入
在当时数据输入的时候,该数据项不重要而忽略
数据传输过程中引入的错误
缺失数据通常需要经过合理的推断予以添加
2022/12/2
9
分箱(Binning)方法举例
对数据进行排序:4,8,9,15,21,21,24,25,26,28,29,34
对数据进行分割(相同深度):
-Bin1:4,8,9,15
-Bin2:21,21,24,25
-Bin3:26,28,29,34
根据bin中的平均值进行离散化:
-Bin1:9,9,9,9
-Bin2:23,23,23,23
-Bin3:29,29,29,29
2022/12/2
15