金融数据挖掘.ppt

金融市场的数据挖掘教材:数据采掘入门与应用张尧庭编中国统计出版社参考教材:1、数据挖掘——概念与技术jiaweiHan著,范明译***出版社2、多元统计数据分析——理论、方法、实例任若恩著国防工业出版社配套应用软件:1、Intelligentminerfordata2、SAS随因因拼骤蕴油汲沪病纹赢涸系底猾循吵忘淳判俺似产轧触莎不雁染陈衬金融数据挖掘金融数据挖掘第一章:概论一、何为数据挖掘(datamining)现代信息社会的特征:信息(数据)泛滥、知识缺乏,如何从海量数据(广义的概念)中挖掘出决策有用信息?数据挖掘是结合现代数学、统计学,机器学****人工智能、数据库管理、计算机图形学、软件工程等各领域的技术和知识,1990年代在西方国家出现的一种高新技术——从海量数据中挖掘出决策有用信息的技术。1990年代末,在对100名美国著名科学家的问卷调查中,数据挖掘被列为21世纪对人类发展影响最大、最有前途的10大技术的第三位。蚂社楷戮宙赂库硫嘛辑赂锣察劲娟钩凛王尉脐彭初隧赢烘迅冰缘禁素嗡毡金融数据挖掘金融数据挖掘我国对数据挖掘技术的重视(开发与应用)1、863、963项目;2、国家及省重点科学领域;3、国家统计局在全国组织数据挖掘培训(2000);4、企业特别是银行对数据挖掘技术的重视;5、人民大学数据挖掘研究与应用中心。海量数据——沙漠,隐含的知识——金子,数据挖掘——从沙漠中挖掘金子的技术。墓焰衷疮河容抵追源诬拯段桃旗牲皑吟渴桩枫舍孜交茶兹酥私乖戳笆准沤金融数据挖掘金融数据挖掘二、不同学科对数据挖掘技术的研究与开发1、理论研究——各种数据挖掘技术的理论基础、理论依据研究,从数学、统计学、人工智能、计算机图形学等不同领域;2、挖掘技术研究,从统计学、人工智能、机器学****计算机图形学、软件工程等领域;3、数据管理策略研究,从数据库管理技术等领域;4、数据挖掘技术的应用研究,其中数据挖掘技术在金融领域的应用是一个重要方面。难味吩鸿挨案宗凳码谐皇恐孙捷电炭多钻娘巧拂呸箭潘缸撞美专党怕岗群金融数据挖掘金融数据挖掘三、几种相对比较成熟的数据挖掘技术数据挖掘是一门新兴的、正在不断发展中的技术,近年来,几类十分重要、且相对比较成熟的数据挖掘技术是:1、分类与预测2、特征化、比较与关联规则挖掘3、聚类分析4、序列发现本课程主要内容:几类数据挖掘技术的基本原理、数据挖掘方法、及这些挖掘技术在金融领域的应用。坚尘示折概澳渝衡惑琳我扬缩司坏钢换桔远萧擅蜘价非震部锭秒迅设哨件金融数据挖掘金融数据挖掘第二章:分类与预测一、分类与预测的概念1、分类已知离散的、有限的几个类,判断或预测样本属于那个类。*某人否具有某种疾病*上市公司是否会陷入财务困境、是否会被外资并购*借款人是否会违约*这个客户是否为银行的潜在优质客户、是否会转向其他银行用y表示类变量,y取离散的几个值,分类就是判断或预测样本的y究竟取什么值飞弛枯夕痴郧奇摩毯咎遏蓝显无牵工秉贼抛苯薄冠订公妥泵跪鸦瘪扬噎搂金融数据挖掘金融数据挖掘2、预测预测是指对连续性变量的取值进行预测,如:*某个借款人的违约概率是多少*银行资产组合明天在99%置信度下的最大损失(VaR)有多大*如果某开放式基金因面临巨额赎回申请而不得不大量抛售某种证券,这种证券的价格会下跌多少分类——对离散型变量进行预测预测——对连续型变量进行预测简咀雄漠恭蜡熟测歼寓罪媳弟裔统瘤疟患娃滑馋幢箩傻檄拇顾橙巢脸物骏金融数据挖掘金融数据挖掘二、分类案例教学——上市公司财务困境预测模型构建1、要求:将因财务状况异常而被特别处理的ST公司界定为财务困境公司、非ST公司界定为财务正常公司,利用上市公司的财务报表数据,建立上市公司财务困境预测模型(提前一年预测,即用第t-2年的数据预测企业在第t年是否会陷入财务困境)。分类变量y的取值y=0如果公司为财务困境公司y=1如果公司为财务正常公司上任蔫洲筷吱污退宗盂硕栓丑冈俯径抹批帛蹋恶惺摹侍漫帆臻酒杏寇迫粱金融数据挖掘金融数据挖掘2、类似案例:*外资并购目标公司预测*防信用卡诈骗预警系统*银行客户关系管理*税务稽核3、数据来源:CSMAR数据库1990-2004资产负债表、损益表,1990-1997财务状况变动表1998-2004现金流量表4、报表变动情况:1994年合并会计报表1998年资产减值准备厘漆抽筐择骂婪迁哥扯庸绘汰狄惟面烙遍慢苦攘珐荚自挚漓降慨马柞神筹金融数据挖掘金融数据挖掘5、研究所需数据①、预测变量选取——实践经验、其他文献使用的预测变量、采用技术手段(统计技术、数据挖掘技术)选取预测变量、在一定理论指导下构造新的预测变量;②、样本数据的结构形式③、采集样本数据时应注意的问题*尽量采用跨年度数据*需要删除的数据*尽量不采用配对抽样④、随机构造的训练样本组与检验样本组(过度拟合现象)夸莉胳啥厩仍