ICA快速算法原理和matlab算法程序.doc

z(t)=%x(t) (2 1)
实验2： FastICA算法
:
独立分屋分析(ICA)的过程如下图所示：在信源S(t)中各分屋相互独立的假设下，由
观察x(t)通过结婚系统B把他们分离开来，使输出y(t)逼近s(t) °
图1JCA的一般过程
ICA算法的研究可分为基F信息论准则的迭代倍计方法和基丁•统计学的代数方法两大 类，从原理匕来说，它们都是利用了源信号的独工性和非高斯性。基于信息论的方法研究中， 各国学者从最人炯、最小互信息、最人似然和负爛最人化等角度提出了一系列估计算法。如 FasUCA算法,Infomax算法，最大似然估计算法等。基于统计学的方法主要有二阶累积量、 四阶累积最等高阶累积量方法。本实验主要讨论FastICA算法。

一般情况下，所获得的数据都具有相关性，所以通常都要求对数据进行初步的白化或球 化处理，因为门化处理可去除各观测信号之间的相关性，从而简化了后续独立分量的提取过 程，而且，通常情况下，数据进行白化处理与不对数据进行白化处理相比，算法的收敛性较 好。
若一零均值的随机向量Z = (Z”…,ZjT满足E绘ZT}=[,其中：I为单位矩阵，我 们称这个向量为白化向量。白化的本质在于去相关，这同主分屋分析的目标是一样的。在 ICA中，对于为零均值的独立源信号S(t)= [^(t^(tf ,有： E{stsJ= E{sjE|sJ=O,^i丰j，且协方差矩阵是单位阵cov(S)= I ,因此,源信号S(t) 是白色的。対观测信号X(t),我们应该寻找一个线性变换，使X(t)投影到新的子空间后变 成白化向量,即:
其中，凤为白化矩阵，z为白化向量。
利用主分量分析，我们通过计算样本向最得到一个变换
W =人初讨
其中U和A分别代表协方差矩阵Cy的特征向量矩阵和特征值矩阵。可以证明，线性变换 凤满足白化变换的要求。通过正交变换,可以保证UTU=UUT = Io因此，协方差矩阵:
E^Zt}= e{a.-1,3UtXXtUA-1,2}=人如力比&丁打人皿=a"AA® = I ()
再将x(t)= AS(t)式代入Z(t) = W)X(t),且令WA= A,^-
Z(t) = ,%AS(t)= AS(t) (2 3)
由「-线性变换入连接的是两个白色随机欠量z(t)和s(t),可以得出入一定是一个止交 变换。如果把上式中的z(t)看作新的观测信号，那么可以说，白化使原来的混合矩阵A简 化成一个新的止交矩阵入。证明也是简单的：
e{zZt}=E(ASStAt}=細券丁磴=AAt = I (24)
其实正交变换相当「对多维欠量所在的坐标系进行一个旋转。
在多维情况下，混合矩阵A是NxN的，白化后新的混合矩阵入由J：是止交矩阵，其 口由度降为N X(N -1)/ 2 ,所以说白化使得ICA问题的工作量儿乎减少了 一半。
白化这种常规的方法作为ICA的预处理町以右效地降低问题的复杂度，而且算法简单, 用传统的PCA就可完成。用PCA对观测信号•进行白化的预处理使得原來所求的解混介矩阵 退化成一个止交阵，减少了 ICA的工作鼠。此外，PCA本身具有降维功能，当观测信号的 个数人J：源信号个数时，经过白化可以口动将观测信号数口降到与源信号维数相同。
2. FasttCA 算法
FastICA算法，乂称固定点(Fixed-Point)算法，是由芬兰赫尔辛基大学Jfyvarmen等人 提出來的。是一种快速寻优迭代算法，与普通的神经网络算法不同的是这种算法采用了批处 理的方式，即在每一步迭代中有大量的样本数据参与运算。但是从分布式并行处理的观点看 该算法仍可称之为是一种神经网络算法。FastICA算法有基峭度、基F似然最大、基『负 爛最大等形式，这里，我们介绍基负炯最人的FastICA算法。它以负壻最大作为一个搜寻 方向，可以实现顺序地提取独立源，充分体现了投影追踪(Projection Pursuit)这种传统线 性变换的思想。此外，该算法采用了定点迭代的优化算法，使得收敛更加快速、稳健。
因为FastICA算法以负爛最大作为一个搜寻方向，因此先讨论一下负炯判决准则。由 信息论理论可知：在所有等方差的随机变量中，高斯变量的爛最大，因而我们可以利用炳 来度量非高斯性，常用姐的修止形式，即负爛。根据中心极限定理，若一随机变量X由许 多相耳独立的随机变最Sx(i=l,23,...N)Z和组成，只要限的均值和方咒、则不论 其为何种分布，随机变量X较S,更接近高斯分布。换言之，§较X的非高斯性更强。因 此，在分离过程中，可通过对分离结果的非高斯性度量來表示分离结果间的相互独立性， 当非高斯性度虽达到城大时，则衣明已完成対各独芷