第十一讲 主成分分析.ppt

第十一讲第十一讲主成分分析主成分分析刘北战刘北战研究需求: 在社会经济的研究中,为了全面系统的分析和研究问题,必须考虑许多经济指标,这些指标能从不同的侧面反映我们所研究的对象的特征, 但在某种程度上存在信息的重叠,具有一定的相关性。一项十分著名的工作是美国的统计学家斯通(stone) 在1947 年关于国民经济的研究。他曾利用美国1929 一1938 年各年的数据,得到了 17 个反映国民收入与支出的变量要素,例如雇主补贴、消费资料和生产资料、纯公共支出、净增库存、股息、利息外贸平衡等等。一基本思想在进行主成分分析后,竟以 %的精度, 用三新变量就取代了原 17 个变量。根据经济学知识,斯通给这三个新变量分别命名为总收入 F1 、总收入变化率 F2 和经济发展或衰退的趋势 F3 。更有意思的是,这三个变量其实都是可以直接测量的。斯通将他得到的主成分与实际测量的总收入 I 、总收入变化率?I以及时间 t因素做相关分析,得到下表: F1F2F3iit F11F201F3001 - l Δi- - - l t- - - - - 1 概念: 主成分分析是一种通过降维技术把多个指标约化为少数几个综合指标的综合统计分析方法,而这些综合指标能够反映原始指标的绝大部分信息,它们通常表现为原始几个指标的线性组合。基本思想及意义?哲学理念:抓住问题的主要矛盾。?主成分分析将具有一定相关性的众多指标重新组合成新的无相互关系的综合指标来代替。通常数学上的处理就是将这 P个指标进行线性组合作为新的综合指标。?问题是: 这样的线性组合会很多,如何选择? ?如果将选取的第一个线性组合即第一个综合指标记为 F 1,希望它能尽可能多地反映原来指标的信息,即 var( F 1 ) 越大,所包含的原指标信息就越多, F 1的方差应该最大,称 F 1为第一主成分。?如果第一主成分 F 1不足以代表原来 p个指标的信息,再考虑选取 F 2即选择第二个线性组合。为了有效地反映原来的信息, F 1中已包含的信息,无须出现在 F 2中,即 cov( F 1 , F 2),称 F 2为第二主成分。?仿此可以得到 p个主成分。?我们可以发现这些主成分之间互不相关且方差递减,即数据的信息包含在前若干个主成分中,因而只需挑选前几个主成分就基本上反映了原始指标的信息。这种既减少了变量的数目又抓住了主要矛盾的做法有利于问题的解决。