《数据预处理》.ppt

该【《数据预处理》 】是由【相惜】上传分享，文档一共【54】页，该文档可以免费在线阅读，需要了解更多关于【《数据预处理》 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。*〔Correctness〕一致性〔Consistency〕pleteness〕可靠性〔Reliability〕数据质量的含义精选课件3现实世界的数据不完整的缺少属性值或某些感兴趣的属性,或仅包含聚集数据。含噪声的包含错误或存在偏离期望的离群值。不一致的采用的编码或表示不同,如属性名称不同冗余的如属性之间可以相互导出精选课件数据错误的不可防止性数据输入和获得过程数据错误数据集成所表现出来的错误数据传输过程所引入的错误据统计有错误的数据占总数据的5%左右[Redmen],[Orr98]精选课件5数据错误的危害性高昂的操作费用糟糕的决策制定组织的不信任分散管理的注意力精选课件数据预处理的形式数据清理补充缺失数据、平滑噪声数据、识别或删除离群点,解决不一致数据集成集成多个数据库、数据立方或文件数据变换标准化和聚集数据归约简化数据、但产生同样或相似的结果精选课件7数据预处理的形式精选课件小结现实世界的数据一般是脏的、不完整的和不一致的。数据预处理技术可以改进数据的质量,从而有助于提高其后的挖掘过程的精度和性能。高质量的决策必然依赖于高质量的数据,因此数据预处理是知识发现过程的重要步骤。检测异常数据、尽早地调整数据并归约待分析的数据,将在决策过程中得到高回报。。描述性数据汇总技术可以用来识别数据的典型性质,突显哪些数据值应当视为噪声或离群点。动机:更好的理解数据。主要内容:度量数据的中心趋势和离散程度、描述数据汇总的图形显示。精选课件