神经网络极速学习方法研究(.doc

神经网络极速学****方法研究* ,60803079,60633020(国家自然科学基金);theNationalHigh-TechR&(国家高技术研究发展项目);theNationalKeyTechnologiesR&,2006BAJ07B06(国家科技支撑计划项目);(陕西省教育厅科学研究计划项目)作者简介:邓万宇(1979-),男,河南滑县人,在读博士,讲师,主要研究领域为机器学****协作过滤,个性化服务;郑庆华(1969-),男,博士,教授,主要研究领域智能化学****理论;陈琳(1977-),女,硕士,讲师,主要研究领域为机器学****协作过滤,),郑庆华2)+,陈琳3)1),2)(西安交通大学电信学院计算机系智能网络与网络安全教育部重点实验室,陕西西安710049)1),3)(西安邮电学院计算机系,陕西西安710061)摘要: 单隐藏层前馈神经网络(Single-work,SLFN)已经在模式识别、自动控制及数据挖掘等领域取得了广泛的应用,但传统学****方法的速度远远不能满足实际的需要,成为制约其发展的主要瓶颈。产生这种情况的两个主要原因是:(1)传统的误差反向传播方法(backpropagation,BP)主要基于梯度下降的思想,需要多次迭代;(2)网络的所有参数都需要在训练过程中迭代确定。因此算法的计算量和搜索空间很大。针对以上问题,借鉴ELM的一次学****思想并基于结构风险最小化理论提出一种快速学****方法(RELM),避免了多次迭代和局部最小值,具有良好的泛化性、鲁棒性与可控性。实验表明RELM综合性能优于ELM、BP和SVM。关键词: 极速学****机;正则极速学****机;支持向量机;结构风险;神经网络;最小二乘中图法分类号: TP18 文献标识码:A引言单隐藏层前馈神经网络(SLFN:Single-work)之所以能够在很多领域得到广泛应用,是因为它有很多优点:(1)具有很强的学****能力,能够逼近复杂非线性函数;(2)能够解决传统参数方法无法解决的问题。但另一方面缺乏快速学****方法,也使其很多时候无法满足实际需要。对于SLFN的学****能力,pactinputsets)和有限集(infiniteinputsets)两种输入情况进行了深入研究。Hornik研究表明:如果激励函数连续、有界且不是常量函数,那么SLFN能够在紧集情况下逼近任何连续函数[1];Leshno在Hornik基础的进一步研究表明:使用非多项式激励函数的SLFN能够逼近任何连续函数[2]。在实际应用中,神经网络的输入往往是有限集,对于有限集情况下SLFN的学****能力,Huang和Babri等进行了研究,结果表明:对于含有N个不同实例的有限集,一个具有非线性激励函数的SLFN最多只需N个隐藏层结点,就可以无误差的逼近这N个实例[3][4]。这就是说,一个具有N个隐藏层结点的SLFN,即使输入权值随机取值,它也能够准确拟合N个不同的实例,更明确的讲就是:SLFN的学****能力只和隐藏层结点的数目有关,而和输入层的权值无关。虽然这一点对于提出一种新的学****算法很有启发,但并未引起研究者的注意,迭代调整的思想一直坚持到现在,很多算法都只是围绕这一思想进行技巧性的改进。不同于传统的学****方法,Huang基于以上研究结论为SLFN提出了一种称为极速学****机(ExtremeLearningMachine,ELM)的学****方法[5]:设置合适的隐藏层结点数,为输入权和隐藏层偏差进行随机赋值,然后输出层权值然通过最小二乘法得到。整个过程一次完成,无需迭代,与BP相比速度显著提高(通常10倍以上)。但是ELM基于经验风险最小化原理,这可能会导致过度拟合问题[6]。此外因为ELM不考虑误差的权重,当数据集中存在离群点时,它的性能将会受到严重影响[7]。为了克服这些缺点,我们结合结构风险最小化理论以及加权最小二乘方法对ELM算法进行改进,使得ELM在保持“快速”这一优势的前提下,泛化性能得到进一步的提高。SLFN的统一模型对于个不同样本,其中,,一个隐藏层结点数目为,激励函数为的SLFN的统一模型为:(1)其中是连接第i个隐藏层结点的输入权值;是i个隐藏层结点的偏差(bias);是连接i个隐藏层结点的输出权值;表示和的内积。激励函数可以是“Sigm