缺失数据分析系统的设计与实现.doc

缺失数据分析系统的设计与实现.doc本科毕业论文
(科研训练、毕业设计)
题目:缺失数据分析系统的设计与实现
姓名:
学院:软件学院
系:软件工程
专业:软件工程
年级:
学号:
指导教师: 职称:
年月
摘要
信息社会数据库和数据仓库的大量应用,使我们获得的数据量飞速增长,数据挖掘就是近年来兴起的一项数据分析处理技术。但是在数据处理过程中,经常会遇到含缺失项的数据,这使得常常无法直接对其进行数据挖掘;传统的处理方法是人工填充或直接删除含缺失项。随着数据挖掘对数据质量要求的提高,许多可以自动填充缺失数据的分析处理算法应运而生。
本文针对缺失数据的处理展开,首先介绍缺失数据处理的研究背景、现状和现有的方法;其次开发了Missing—Imputor系统,Bean ,实现了缺失数据的分析、填补,并成功地建立评价模型;其主要功能包括自动对含缺失项数据进行填补,评价不同算法执行的正确度,并为具体数据属性的算法选择提供依据。论文还将将详细介绍系统实现的算法原理,并对此系统的框架和开发流程做出介绍、以及系统的结果展示等内容。
该Missing-Imputor系统对缺失数据的分析处理能起到辅助分析和指导作用,还可以作为一个功能模块,嵌入到其他类型的数据挖掘系统中,作为其他系统的一部分使用。
关键词:缺失数据;插补法;数据挖掘
Design and Implementation of Missing Data Analysis System
Abstract
Nowadays, technologies of the information age, like Database or Data Warehouse, have brought us great amount of data. Data Mining is considered as a novel method to retrieve useful information from those data sets. In order to save the inconvenience and the loss that missing data have caused in the practical use of data mining, some missing data analysis algorithms have been invented in the recent research and study.
This thesis is concerned with missing data analysis and imputation. First, it introduces the main principles and the current researches of missing data theories. Second, it describes a missing data analysis application, Missing-Imputor, which runs on Bean and implements five classic algorithms to impute the missing values of specific data tables. Missing-Imputor system could provide plete dataset instead of the original plete dataset for the following data mining procedures and evaluates the efficiency of different algorithms.
This Missing-Imputor system could offer some guidelines on the selections of applying different algorithms into the practical industrial use. And it could also be used as a solo function module embedded in other software applications.
Keywords: Missing Values;Imputation Algorithms;Data Mining
目录
第一章绪论 1
研究背景及意义 1
研究现状与存在问题 3
主要研究内容及特色 4
论文组织结构 5
第二章缺失数据处理技术及其应用