第八章 典型相关分析.pdf

第八章典型相关分析

在对经济问题的研究和管理研究中,不仅经常需要考察两个变量之间的相关程度,而且
还经常需要考察多个变量与多个变量之间即两组变量之间的相关性。典型相关分析就是测度
两组变量之间相关程度的一种多元统计方法。

第一节典型相关的基本原理

(一)典型相关分析的基本思想
典型相关分析方法(canonical correlation analysis)最早源于荷泰林(H,Hotelling)
于 1936 年在《生物统计》期刊上发表的一篇论文《两组变式之间的关系》。他所提出的方法
经过多年的应用及发展,逐渐达到完善,在 70 年代臻于成熟。由于典型相关分析涉及较大
量的矩阵计算,其方法的应用在早期曾受到相当的限制。但随着当代计算机技术及其软件的
迅速发展,弥补了应用典型相关分析中的困难,因此它的应用开始走向普及化。
典型相关分析是研究两组变量之间相关关系的一种统计分析方法。为了研究两组变量
X 1 , X 2 ,⋯, X p 和Y1 , Y2 ,⋯,Yq 之间的相关关系,采用类似于主成分分析的方
法,在两组变量中,分别选取若干有代表性的变量组成有代表性的综合指标,通过研究这两
组综合指标之间的相关关系,来代替这两组变量间的相关关系,这些综合指标称为典型变量。
(二)典型相关分析的数学描述
′′
设有两随机变量组 X = ( X 1 , X 2 ,⋯, X p ) 和Y = ( Y1 , Y2 ,⋯,Yq ) ,
不妨设 p ≤ q 。
对于 X ,Y ,不妨设第一组变量的均值和协方差为矩阵为
= =
E()X µ1 Cov (X ) ∑ 11
第二组变量的均值和协方差为矩阵为
= =
E()Y µ2 Cov (Y ) ∑ 22
第一组与第二组变量的协方差为矩阵为
Cov X ,Y = = '
()∑ 12 ∑21
⎡X ⎤
于是,对于矩阵 Z = ⎢⎥有(9—1—1)
⎣Y ⎦
⎡E(X )⎤⎡µ1 ⎤
均值向量µ = E ()Z = E ⎢⎥= ⎢⎥(9—1—2)
⎣E()Y ⎦⎣µ2 ⎦
′
协方差矩阵∑= E ()Z −µ ()Z −µ
()()p+q × p+q
′′
⎡E()()()()X −µ X −µ E X −µ Y −µ ⎤
= ⎢ 1 1 1 2 ⎥
⎢′′⎥
⎣E()()Y −µ 2 X −µ1 E ()()Y −µ 2 Y −µ 2 ⎦
⎡∑ 11 ∑ 12 ⎤
⎢()()p× p p×q ⎥
= ⎢⎥
⎢∑ 21 ∑ 22 ⎥
⎣⎢()()q× p q×q ⎦⎥
要研究两组变量 X 1 , X 2 ,⋯, X p 和Y1 , Y2 ,⋯,Yq 之间的相关关系,首先分
别作两组变量的线性组合,即
=
U = a1 X 1 + a2 X 2 +L+ a p X p a′X
=
V = b1Y1 + b2Y2 +L+ bqYq b′Y
′, ′分别为任意非零常系数向量,则
a = ()a1 ,a2 ,L,a p b = (b1 ,b2 ,L,bq )
可得,
= ′= ′
Var ()U a Cov (X )a a ∑ 11 a
= ′= ′
Var ()V b Cov (Y )b b ∑ 22 b
= ′= ′
Cov ()U,V a Cov (X ,Y ) b a ∑ 12 b
则称U 与V 为典型变量,它们之间的相关系数ρ称为典型相关系,即
′
a ∑ 12 b
ρ= Corr ()U,V =
′′
a ∑ 11 a b ∑ 22b
典型相关分析研究的问题是,如何选取典型变量的最优线性组合。选取原则是:在所有
(1) (1) (1)
线性组合U 和V 中,选取典型相关系数为最大的U 和V ,即选取 a 和 b 使得U1 = a′ X
(1) (2) (2)
与V1 = b′ Y 之间的相关系数达到最大(在所有的U 和V 中),然后选取 a 和 b 使得
(2) (2)
U 2 = a′ X 与V2 = b′ Y 的相关系数在与U1 和V1 不相关的组合U 和V 中最大,继续下去,
直到所有分别与和,都不相关的线性组合, 为止。此时
U1 ,U 2 LU p−1 V1 ,V2 LV p−1 U p V p p
等于诸变量 X 与Y 之间的协方差矩阵的秩。
典型变量U1 和V1 ,U 2 和V2 ⋯⋯U p 和V p 是根据它们的相关系数由大列小逐对提取,
直到两组变量之间的相关性被分解完