计算智能神经网络.ppt

计算智能神经网络神经网络马文·明斯基(MarvinLeeMinsky,1927年8月9日-)生于纽约市,1944年-1945年服役于美国海军。1954年于普林斯顿大学获得数学博士学位。在数学系做研究生时,明斯基与同学构建了第一台基于模拟突出增强原理的随机连线网络学****机器(SNARC),被称为第一台神经网络计算机。,却险些葬送了神经网络的前途。,险些无法毕业。趣事:神经网络原文如下:尽管它有严重的局限性,感知器展示了它自身的研究价值。它有很多吸引人的优点:它的线性,迷人的学****法则,作为一类并行计算范例的清晰的简单性。没有任何理由认为这些优点能带到多层感知器中去。依据我们的直觉判断,即使推广到多层系统也不会有好的结果。但是,我们认为证明(或否定)这一点是一个很重要的需要研究的问题。1969年,他和佩波特的名著《感知机》证明了Rosenblatt感知机解决非线性问题能力薄弱,连XOR逻辑分类都做不到,只能作线性划分。更重要的是,他将关于单层感知器局限性的结论推广到了多层感知器。神经网络神经网络研究进入低谷期,一直持续了将近20年。神经网络的反击:1988年,赛本柯(Cybenko)等证明:具有两个隐层的BP网络可以实现任何有界连续函数。1989年又证明:单隐层BP网络可以实现任何有界连续函数。明斯基对多层感知器的“判决”被彻底推翻我想说两点:。好像就从来没准过。。多层前馈神经网络结构输入层隐含层输出层W1W2x2x1xny2y1ym……………--,,因此,常见的神经网络为3层:输入层、隐含层、输出层输入矢量:x1,x2,…,xix2x1xi……wijwjkijk…θjθk输入层节点数目为i输入层第i个节点输出为隐含层节点数目为j隐层第j个节点输出为输出层节点数目为k输出层第k个节点输出为隐含层阈值为θj,输出层为θk输入层到隐层权值为wij,隐层到输出层权值为wjk多层前馈神经网络工作过程:x2x1xi……wijwjkijk…θjθkf为激励函数(转移函数)激励函数神经网络常用的激励函数:(1)Sigmoid函数:(0<f(x)<1)Sigmoid函数为一单调递增连续函数,且处处可导,其导数为:激励函数(2)双曲正切函数:(-1<f(x)<1)1-1xy0导数为:Sigmoid函数通过下式能够映射到(-1,1)范围:误差函数用期望输出与实际输出的方差作为相应的误差测度tk为第k个样本的期望输出,yk为第k个样本通过神经网络计算的实际输出。N为参与训练的样本总数如果输出向量的维数为m,则:tk,i为第k个样本第i维的期望输出,yk,i为第k个样本通过神经网络计算出的第i维实际输出。