机器学习工具WEKA地使用总结材料,包括算法选择、属性选择、全参数优化.doc

一、属性选择:1、理论知识:见以下两篇文章:数据挖掘中的特征选择算法综述及基于WEKA的性能比较_陈良龙数据挖掘中约简技术与属性选择的研究_刘辉2、(attributeevaluator)总的可分为filter和wrapper方法,前者注重对单个属性进行评价,后者侧重对特征子集进行评价。Wrapper方法有:CfsSubsetEvalFilter方法有::(1)CfsSubsetEval根据属性子集中每一个特征的预测能力以及它们之间的关联性进行评估,单个特征预测能力强且特征子集内的相关性低的子集表现好。:(1998).Correlation-,NewZealand.(2)WrapperSubsetEvalWrapper方法中,用后续的学****算法嵌入到特征选择过程中,通过测试特征子集在此算法上的预测性能来决定其优劣,而极少关注特征子集中每个特征的预测性能。因此,并不要求最优特征子集中的每个特征都是最优的。:RonKohavi,(1997).(1-2):273-:如果选用此评价策略,则搜索策略必须用Ranker。(1)CorrelationAttributeEval根据单个属性和类别的相关性进行选择。Evaluatestheworthofanattributebymeasuringthecorrelation(Pearson's).(2)GainRatioAttributeEval根据信息增益比选择属性。(Class,Attribute)=(H(Class)-H(Class|Attribute))/H(Attribute).(3)InfoGainAttributeEval根据信息增益选择属性。(Class,Attribute)=H(Class)-H(Class|Attribute).(4)OneRAttributeEval根据OneR分类器评估属性。Classforbuildingandusinga1Rclassifier;inotherwords,usestheminimum-errorattributeforprediction,,see:(1993).:63-91.(5)ponents主成分分析(PCA)。