基于PSO与BP前馈神经网络学习算法的研究.pdf

江苏大学
硕士学位论文
基于PSO与BP前馈神经网络学习算法的研究
姓名:顾同跃
申请学位级别:硕士
专业:计算机应用技术
指导教师:鞠时光
20091216
摘要速度快,且不再有算法的选择、交叉、变异等复杂操作。但对于复杂问基于算法的网络在计算上以并行为主,具有很强的鲁棒性和容错能力,并且非线性单隐层网络可以实现以任何精度近似任何连续非线性函数,因此网络在实际应用中受到广泛关注。但是,由于采用梯度下降法训练网络,算法容易陷入局部极小点、收敛速度慢、从而全局搜索能力较弱。与算法相比,遗传算法篏、微粒群算法:扔呕惴ň哂薪锨康娜ň炙阉髂芰ΑR糯惴和微粒群群优化算法都随机初始化种群,采用适应值来评价系统并且都根据适应值来进行一定的随机搜索。和算法相比,微粒群算法不要求目标函数具有连续性,且它的搜索方式具有全局性和并行性,所以算法简单,收敛题,微粒群算法易早熟收敛,无法保证收敛到最优点。而且和算法相比,它的局部搜索能力较弱。本文主要将虰岷掀鹄囱盗非袄∩窬缫蕴岣咚惴ǖ氖樟菜度和网络的泛化性能,并且就缡樟参侍馓岢隽艘恍└慕姆椒ā1文的研究工作主要有:诮玃和结合起来的基础上提出两个混合算法,算法在克服虰娜钡愕耐狈⒀锼堑挠诺恪;旌纤惴ń档土搜盗饭中陷入局部极小点的几率,实验结果也验证了算法有优于传统算法的收敛性能。攵粤W尤核惴ㄔ缡斓奈侍猓疚奶岢隽嗽黾恿W尤憾嘌缘腜江苏大学硕士学位论文
算法。算法从每个粒子的每一维矢量着手考虑,通过一随机函数对每个粒子进行扰动,提高粒子群多样性,随着迭代次数的增加,扰动的幅度也随之减小,保证算法收敛。此外,对于一类具有单调性样本,将样本中单调信息耦合到每个粒子中,以减少粒子群陷入局部极值的可能性,同时增加粒子群的多样性。实验结果也说明了该类方法的有效性。关键词:前馈神经网络,算法,微粒群算法,收敛性能江苏大学硕士学位论文
琽,琍’’谢瓹籱疭,江苏大学硕士学位论文瓸,甌,瓸,瓹—瑃.、.,疭簊疭:’
.江苏大学硕士学位论文琺,痵:珺,瓵瓸,
霜镌学位论文版权使用授权书保密口,不保密。本学位论文作者完全了解学校有关保留、使用学位论文的规定,同意学校保留并向国家有关部门或机构送交论文的复印件和电子版,允许论文被查阅和借阅。本人授权江苏大学可以将本学位论文的全部内容或部分内容编入有关数据库进行检索,可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。在年解密后适用本授权书。本学位论文属于学位论文作者签名:导师签名:签字日期:年月日
独创性声明研究工作所取得的成果。除文中已注明引用的内容以外,本论文不包含任何本人郑重声明:所呈交的学位论文,是本人在导师的指导下,独立进行其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体,均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名:顾同跃日期:年月日
第一章绪论引言网络和粒子群优化人工神经网络是模仿细胞结构和功能、脑神经结构以及思维处理问题等脑功能的新型信息处理系统。由于人工神经网络具有复杂的动力学特征、并行处理机制、学忆等功能,以及它的高度自组织、自适应能力和灵活性而受到自然科学领域学者的广泛重视。特别是网络近年来广泛应用于模式识别、图像处理、信息处理、智能控制、故障检测、企业管理、市场分析等,并取得良好的效果】。基于算法训练的网络称之为网络。网络利用实际输出对理想输出的误差,和误差梯度调整神经网络的权值来训练神经网络,达到模式识别的目的。传统的算法是一种梯度下降学习算法,其权值的修正是沿着误差性能函数梯度的反方向进行的,由于实际应用的复杂性,传统算法存在训练速度慢、泛化能力差等问题。针对传统算法存在的一些不足,文献】将遗传算法、微粒群等优化算法用于训练神经网络。微粒群算法的应用,进一步加快了网络的训练速度。微粒群算法不要求目标函数具有连续性,且它的搜索具有全局性和并行性,所以算法简单,收敛速度快,且不的选择、交叉、变异等复杂操作。但对于复杂问题,微粒群易失去多样性,产生“过早熟”现象。而且惴ú捎锰臼降乃阉鞑呗栽谖蟛钋嫔搜寻最优解,和算法相比,其全局搜索能力较强,局部搜索能力较弱。本文在考虑算法和惴ㄓ湃钡愕幕∩希玃和算法结合起来训练前神经网络是一门活跃的边缘性交叉学科。人工神经网络是相对于生物学中所说的生物神经网络系统而言的,它提出的目的在于用一定的简单的数学模型对生物神经网络结构进行为,解决传统算法所不能胜任的智能信息处理的问题。它是巨量信息并行处理和大规模并行计算的基础,神经网络既是高度非线性动力学系统,又是自组织自适应系统,可用来江苏大学硕士学位论文再有馈神经网络,同时考虑改善粒子群的多样性,以提高算法的收敛性能和网络的泛化性能。神经