自编码(Autoencoder)-深度学习.pptx

自编码(Autoencoder)-深度学****br/>大纲
稀疏自编码（Sparse Autoencoder）
栈式自编码 （Stacked Autoencoder）
去噪自编码（Denoising Autoencoder）
压缩自编码（Contrative Autoencoder）
自编码Autoencoder）
自编码简介（Autoencoder）
：输入值
：编码函数
：编码或内部表示
：解码函数
：输出，也称“重建值”
：损失函数，用于测量重建的好
坏，目标是最小化L的期望值。
自编码简介（Autoencoder）
自动编码器就是一种尽可能复现输入信号的神经网络；
自动编码器必须捕捉可以代表输入数据的最重要的因素；
类似 PCA，找到可以代表原信息的主要成分。
Input：数据的输入；
Encoder：编码器；
Code：输入的一个表示；
Decoder：解码器；
Reconstruction: input的重建；
Error: 重建数据和input的误差。
自编码简介（Autoencoder）
几种自编码的共同点
自编码的共同点：是除了预防针对x简单地学****一个恒等函数外，还包含在以下两方面取折中。
1、学****到一个针对x的表示h，x也能通过一个解码器从h中还原；需要注意的是：这并不需要对所有x都满足，只满足对那些服从数据分布的x即可。（重建误差）
2、减小模型代表性的能力，使在尽可能多的输入方向上不敏感。（模型的表达能力，泛化能力？？）
自编码简介（Autoencoder）
如何在重建误差和表达能力之间取折中呢？
解决方法：区分训练样本的哪些变量需要表示。
学到一个数据的表示（映射，mapping），对流形的方向比较敏感，对正交于流形的方向不敏感。将在正交于流形的方向产生一个收缩的表示。
图中，黑色的线为流形空间，向右的绿色箭头与流形相切，蓝色的箭头正交于流形。
自编码简介（Autoencoder）
重建误差的概率解释
目标函数：
损失函数的选取取决于输入数据的类型：如果输入是实数值，无界值，损失函数使用平方差（squared error）；如果输入时位矢量，交叉熵（cross-entropy）更适合做损失函数。
什么是交叉熵？
p和q分布的交叉熵是：p分布的信息熵和p和q的DL散度的和。
我们可以认为训练一个解码函数等同于对条件分布P(x|h)的估计；同样的道理，可以将编码函数理解为一个条件分布Q(h|x),而不仅仅是一个“干巴巴”的函数式子。
稀疏自动编码器（Sparse Autoencoder ）
如果在AutoEncoder的基础上加上L1的Regularity限制（L1主要是约束每一层中的节点中大部分都要为0，只有少数不为0，这就是Sparse名字的来源），我们就可以得到Sparse AutoEncoder法。
如上图，其实就是限制每次得到的表达code尽量稀疏。因为稀疏的表达往往比其他的表达要有效（人脑好像也是这样的，某个输入只是刺激某些神经元，其他的大部分的神经元是受到抑制的）。
稀疏自动编码器（Sparse Autoencoder ）
输入：
基础知识回顾
输出：
激活
函数：
Sigmiod
Sigmoid函数曲线
导数：
稀疏自动编码器（Sparse Autoencoder ）
简单神经网络（三层，单隐藏层）
L层第i个单元的输入单元总的加权和表示为:
例如：
所以：
进一步简写：