零基础入门深度学习(1)：感知器,激活函数.docx

零基础入门深度学****1):感知器,激活函数
本文章来自于阿里云云栖社区
摘要: 零基础入门深度学****1) - 感知器零基础入门深度学****2) - 线性单元和梯度下降零基础入门深度学****3) - 神经网络和反向传播算法零基础入门深度学****4) - 卷积神经网络零基础入门深度学****5) - 循环神经网络。零基础入门深度学****6) - 长短时记忆网络(LSTM)。无论即将到来的是大数据时代还是人工智能时代,亦或是传统行业使用人工智能在云上处理大数据的时代,作
零基础入门深度学****1) - 感知器(原文链接:/9ca2c1b07e0e?spm=)
零基础入门深度学****2) - 线性单元和梯度下降(原文链接:/c9938d7a5209?spm=)
零基础入门深度学****3) - 神经网络和反向传播算法(原文链接:/5187635c7a2d?spm=)
零基础入门深度学****4) - 卷积神经网络(原文链接:/722202df94fd?spm=)
零基础入门深度学****5) - 循环神经网络。(原文链接:https:///hanbingtao/note/541458?spm=)
零基础入门深度学****6) - 长短时记忆网络(LSTM)。(原文链接:https:///hanbingtao/note/581764?spm=)
无论即将到来的是大数据时代还是人工智能时代,亦或是传统行业使用人工智能在云上处理大数据的时代,作为一个有理想有追求的程序员,不懂深度学****Deep Learning)这个超热的技术,会不会感觉马上就out了?现在救命稻草来了,《零基础入门深度学****系列文章旨在帮助爱编程的你从零基础达到入门级水平。
零基础意味着你不需要太多的数学知识,只要会写程序就行了,没错,这是专门为程序员写的文章。虽然文中会有很多公式你也许看不懂,但同时也会有更多的代码,程序员的你一定能看懂的(我周围是一群狂热的Clean Code程序员,所以我写的代码也不会很差)。
1深度学****是啥
在人工智能领域,有一个方法叫机器学****在机器学****这个方法里,有一类算法叫神经网络。神经网络如下图所示:
上图中每个圆圈都是一个神经元,每条线表示神经元之间的连接。我们可以看到,上面的神经元被分成了多层,层与层之间的神经元有连接,而层内之间的神经元没有连接。最左边的层叫做输入层,这层负责接收输入数据;最右边的层叫输出层,我们可以从这层获取神经网络输出数据。输入层和输出层之间的层叫做隐藏层。
隐藏层比较多(大于2)的神经网络叫做深度神经网络。而深度学****就是使用深层架构(比如,深度神经网络)的机器学****方法。
那么深层网络和浅层网络相比有什么优势呢?简单来说深层网络能够表达力更强。事实上,一个仅有一个隐藏层的神经网络就能拟合任何一个函数,但是它需要很多很多的神经元。而深层网络用少得多的神经元就能拟合同样的函数。也就
是为了拟合一个函数,要么使用一个浅而宽的网络,要么使用一个深而窄的网络。而后者往往更节约资源。
深层网络也有劣势,就是它不太容易训练。简单的说,你需要大量的数据,很多的技巧才能训练好一个深层网络。这是个手艺活。
2感知器
看到这里,如果你还是一头雾水,那也是很正常的。为了理解神经网络,我们应该先理解神经网络的组成单元——神经元。神经元也叫做感知器。感知器算法在上个世纪50-70年代很流行,也成功解决了很多问题。并且,感知器算法也是非常简单的。
感知器的定义
下图是一个感知器:
可以看到,一个感知器有如下组成部分:
如果看完上面的公式一下子就晕了,不要紧,我们用一个简单的例子来帮助理解。
例子:用感知器实现and函数
我们设计一个感知器,让它来实现and运算。程序员都知道,and是一个二元函数(带有两个参数和),下面是它的真值表:
为了计算方便,我们用0表示false,用1表示true。这没什么难理解的,对于C语言程序员来说,这是天经地义的。
我们令,而激活函数就是前面写出来的阶跃函数,这时,感知器就相当于and函数。不明白?我们验算一下:
输入上面真值表的第一行,即,那么根据公式(1),计算输出: 
也就是当X1X2都为0的时候,为0,这就是真值表的第一行。读者可以自行验证上述真值表的第二、三、四行。