广工数据挖掘复习要点汇总.doc

广工数据挖掘复习要点汇总.doc广工数据挖掘复****要点汇总
广工数据挖掘复****要点汇总
广工数据挖掘复****要点汇总
第一章 绪论
：面对高维，复杂，异构的海量数据，如何集中获取有用的信息和
知识。
：
·技术层面上：数据挖掘p，丢弃高端的和低端的（
p/2） %的
数据，然后按照计算均值那样计算）
。
：试图填充缺失数据，去除噪声并识别离群点，纠正数据中的不一致值。
： （分析时）忽略元组， （分析时）忽略属性列， （估计缺失值）人工填写缺失数据，（估计缺失值）自动填充缺失数据。
：分箱，聚类。
：将两个或多个数据源中的数据，存放在一个一致的数据存储设备中。
： 数据泛化（把学科分为理学和工学， 忽略细节），规范化， 特征构造 （集中数据特征构造新的特征，减少特征维数） ，数据离散化（出现了熵计算） 。
：
·维度归约和特征变换： 维度归约可以删除不相关的特征并降低噪声，降低维度灾难风
险，降低数据挖掘的时间复杂度和空间复杂度，特征变幻可以反应出数据的不同视角
广工数据挖掘复****要点汇总
广工数据挖掘复****要点汇总
广工数据挖掘复****要点汇总
的不同特征。
·抽样：长期用于数据的事先调查和最终的数据分析，在数据挖掘中，抽样是选择数据
子集进行分析的常用方法。
1）无放回的简单随机抽样方法
2）有放回的简单随机抽样方法
3）分层抽样方法
· 特征选择：从一组已知特征的集合中选取最具有代表性的特征子集，使其保留原有
数据的大部分特征，正确区分数据集中的每个数据对象。根据特征选择过程与后续
数据挖掘任务的关联可分为三种方法：过滤，封装和嵌入。 根据是否用到类信息的指导，
分为监督式，无监督式和半监督式特征选择
·特征子集选择的搜索策略：逐步向前选择（从空集开始，逐步添加），逐步向
后删除（从整个属性集开始，逐个删除），向前选择和向后删除相结合,决策树归约。
特征搜索过程中不可缺少的环节就是逐步评估。
★数据预处理方法： 数据清理，数据集成，数据变换，数据归约，数据离散化
例题：
假定用于分析的数据包含属性age，数据元组中age 的值如下 (按递增序 )：
13,15,16,16,19,20,20,21,22,22,25,25,25,25,30,33,33,33,35,35,35,35,36,40,45,46,52,70 。
(a) 使用按箱平均值平滑对以上数据进行平滑，箱的深度为3。解释你的步骤。评论对
于给定的数据，该技术的效果。
对于数据平滑，还有哪些其它方法？
答： (a)已知数据元组中age 的值如下 (按递增序 )：
13,15,16,16,19,20,20,21,22,22,25,25,25,25,30,33,33,33,35,35,35,35,36,40,45,46,52,70 ，且箱的深度为 3，划分为 (等频 )箱：
箱 1： 13,15,16
箱 2： 16,19,20
箱 3： 20,21,22
箱 4： 22,25,25
箱 5： 25,25,30
箱 6： 33,33,33
箱 7： 35,35,35
箱 8： 35,36,40
箱 9： 45,46,52
箱 10： 70
用箱均值光滑：
箱 1： 15,15,15
箱 2： 18,18,18
箱 3： 21,21,21
箱 4： 24,24,24
箱 5： 27,27,37
箱 6： 33,33,33
箱 7： 35,35,35
箱 8： 37,37,37
箱 9： 48,48,48
箱 10： 70；
广工数据挖掘复****要点汇总
广工数据挖掘复****要点汇总
广工数据挖掘复****要点汇总
对于数据平滑，其它方法有：
回归：可以用一个函数 (如回归函数 )拟合数据来光滑数据；
聚类：可以通过聚类检测离群点，将类似的值组织成群或簇。直观地，落在簇集合
之外的值视为离群点。
给出的 age 数据，回答以下问题：
使用 min-max 规范化 ，将age值35转换到[，]区间。
使用 z-score 规范化 转换age值35，其中，。
使用 小数定标规范化 转换 age 值 35。
指出对于给定的数据，你愿意使用哪种方法。陈述你的理由。
答： (a)已知最大值为
70，最小值为
13，则可将
35 规范化为： 35 - 13
；
70-13
35-30