东南大学讲座(函数型数据分析引入).ppt

1
华南师范大学张敏强2010-11 南京(东南大学学****科学研究中心讲座)
数据处理方法的回顾与函数型数据分析方法的引入
2
数据类型及其缺点
截面数据:
定义:某一固定时间点上收集到得N个不同对象的数据
缺点:(1)仅反映某一时间点上各个体的信息;
(2)数据分析方法依赖于样本分布等强烈的假设条件
时间序列数据:
定义:同一对象在一系列按时间序列排列的观测点上所得到的数据,
缺点:(1)数据收集困难,容易缺失;
(2)数据模型复杂
3
近几十年来,由于统计学的不断发展,出现并发展了一些新的方法解决了很多问题(如结构方程模型、多水平线性模型、潜在类别模型)。然而,无论获得的是截面数据还是时间序列数据,我们只能进行某一横向研究或纵向研究,同时其前提条件很多不能满足,因此常常导致数据分析结果的不可靠性。
4
在此基础上,20世纪90年代发展了另一种数据:
面板数据:
定义:N个不同对象在一系列按时间序列排列的
观测点上所得到的数据,将时间序列数据与截面
数据相结合,无论是在社会科学还是自然科学,
面板数据都非常常见。
优点:(1)可以成倍地扩大样本容量;
(2)可以估计某些未知因素对因变量的影响;
(3)可区分各自变量的作用等
虽然面板数据模型将截面数据和时间序列数据结合起来,具有较强的因果推理属性,但是三者存在共同的缺陷:即所建立的模型都是线性的,而在实际应用过程中无法完全保证变量间的线性关系,并且也难以确保数据满足前提假设条件,从而使方法的具体应用及方法适用于数据的类型均具有一定的局限性。
5
6
函数型数据分析简介(Functional Data Analysis)
为此,20世纪70年代加拿大统计学家Ramsay首次提出将泛函分析、拓扑学与统计学相结合的设想,提出“函数型数据”的概念以及其数据处理方法——函数型数据分析,并将之成功用于考古学家挖掘的骨块的形状分析、按时间记录的经济数据、手写师笔尖的运动轨迹、温度的变化、人体身高变化等等。近年来,函数型数据分析方法正处于发展迅猛阶段,国内也有少数将其用在股票分析、学****成绩预测等方面。总之,函数型数据分析虽处于初级发展阶段,但必将带来统计学一次新的变革。
7
函数型数据是指随着某一连续集(时间、空间等)变化的数据,形式多种,可以是曲线、平面或者三维图像等,但就其本质而言其,都是由函数构成的。
函数型数据分析基本原理
把观测数据当作一个整体(函数),而不是一系列单个离散的观测结果。之所以这样做是因为在研究中我们不仅关心的已得到的数据,更关心未得到的或者无法得到的数据。
前提假设:产生数据的潜在过程是光滑的
离散数据转换成函数型数据
在实际的心理学研究中,获得的数据大多数是离散数据,因此需要将离散数据转换成函数型数据,此时就需要用到基函数的线性组合。常用的基函数为B样条基(非周期性数据)和傅里叶基(周期性数据)。
函数型数据的拟合
离散数据拟合基础为:临近的两个离散的点的潜在产生过程是光滑的
在函数型数据分析中常用的拟合法则为非参数的拟合法则——粗糙惩罚法,而不是最小二乘法
另外,关于函数型数据的基本理论原理还涉及拓扑学、泛函分析等,(详细方法要专门介绍)
9
函数型数据分析方法基本步骤:
(1)原始数据的收集、整理和组织
(2)将离散数据转换成函数型数据。采用基函数的线性组合,常用的B样条基和傅立叶基
(3)拟合函数型数据以及光滑化。常用非参数拟合法则——粗糙惩罚法
(4)函数型数据分析方法的应用。具体有函数型显著性检验、函数型线性模型、函数型主成份分析、函数型因素分析、函数型聚类分析、函数型主微分分析等
10
函数型数据分析的优点
(1)打破了连续型数据和离散型数据长期以来的分离状态,实现离散和连续的过渡
(2)可分析大批量的数据,实现从有限维数据到无限维数据的转换,得到的数据信息更丰富、更可靠
(3)很少依赖于模型构建及假设条件
(4)由于假设函数都是可导的,因此可进行微分分析,如:得到位相图,实现动能与势能之间的转换
(5)将多元统计分析方法进一步延伸