works汇总.ppt

(体系结构)(RLN局部响应归一化)(重叠池化)ReducingOverfitting(减少过度拟合)(数据加强),采用ReLU来代替传统的tanh(orsigmoid)引入非线性。2,采用2块显卡来进行并行计算,减少了更多显卡需要host传递数据的时间消耗,在结构上,部分分布在不同显卡上面的前后层节点之间无连接,从而提高了训练速度。3,同层相邻节点的响应进行局部归一化(lrnlayer)提高了识别率(%)。4,overlappingpooling(%)。①②③④⑤⑥⑦⑧(RectifiedLinearUnits)NonlinearityReLU具备引导适度稀疏的能力,不需要pre-trainingReLU不预训练和sigmoid预训练的效果差不多,甚至还更好。相比之下,ReLU的速度非常快,而且精确度更高。因此ReLU在深度网络中已逐渐取代sigmoid而成为主流。:putshalfofthekernels(orneurons)oneachGPU,municateonlyincertainlayers.(forexample,thekernelsoflayer3takeinputfromallkernelmapsinlayer2)Thisschemereducesourtop-1andtop-%%,原来的激活a被加一个归一化权重(分母部分)生成了新的激活b,相当于在同一个位置(x,y),不同的map上的激活进行了平滑。Responsenormalizationreducesourtop-1andtop-%%其中a是每一个神经元的激活,n是在同一个位置上临近的kernelmap的数目,N是可kernel的总数目,k,alpha,beta都是预设的一些hyper-parameters,其中k=2,n=5,alpha=1*e-4,beta=。:3*3Stride:2Thisschemereducesthetop-1andtop-%%(GeneralPooling)我们定义池化窗口的大小为sizeX,即下图中红色正方形的边长,定义两个相邻池化窗口的水平位移/竖直位移为stride。一般池化由于每一池化窗口都是不重复的,所以sizeX=stride。(OverlappingPooling)重叠池化正如其名字所说的,相邻池化窗口之间会有重叠区域,此时sizeX>stride。作者使用了重叠池化,其他的设置都不变的情况下,top-1和top-%%。(SpatialPyramidPooling)空间金字塔池化可以把任何尺度的图像的卷积特征转化成相同维度,N处理任意尺度的图像,还能避免cropping和warping操作,导致一些信息的丢失,具有非常重要的意义。1数据加强(dataaugmentation):对训练数据进行左右对称以及平移变换,将训练数据增加为原来的2048倍;对像素进行PCA变换构造新样本(此机制使得top5错误率降低%1);2DropoutReducingOver-fitting