基于MapReduce的中医药并行数据挖掘服务.pdf

浙江大学计算机科学与技术学院
硕士学位论文
基于MapReduce的中医药并行数据挖掘服务
姓名:刘洋
申请学位级别:硕士
专业:计算机科学与技术
指导教师:陈华钧;姜晓红
20100128
摘要关键词:中医药,⑿蟹窨蚣埽萃诰颍劾啵捣蹦J椒⑾随着中医药信息化的进一步深入,更广泛的中医药临床数据被规范化整理,形成了大量标准的中医药数据库,使得中医药信息的数据量进一步膨胀,而原有的单机版据挖掘软件无法满足这种对海量数据进行挖掘的要求。针对这种新的需要本文提出了基于闹幸揭┎⑿惺萃诰蚍窨蚣埽绰阒幸揭┭芯慷愿咝阅芗扑隳芰Φ囊G螅这种方法可以充分利用已有的高性能集群的计算能力,为教ㄌ峁└看蟮暮筇支撑。同时,这种服务方式又具有一定的通用性,可以为一些非领域内的挖掘要求服务。在这个针对中医药研究的并行服务框架中,具体实现了以下内容:杓撇⑹迪至丝墒踊换テ教ǎ约翱杀喑痰腤瘛诓⑿锌蚣芗傻乃惴ǹ庵校咛蹇7⒘针对单图的频繁模式发现算法,并应用到中医方剂组成配伍的研究中;实现了简化点式互信息算法,并把其应用于中医临床数据。浙江大学硕士学位论文
,,琺甒,,琍浙江大学硕士学位论文甀甅:珼.,.:
图目录教ḿ芄埂图分布式文件系统的体系结构⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯疪蚣堋实现的关系展示图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图基于牟⑿惺萃诰蚍窨蚣堋图可视化平台架构图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.饔昧鞒獭图功能层整体服务框架⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯的副本管理机制⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.图集群组织方式⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图用户管理流程图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图注册子模块流程图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图算法管理模块功能流程⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图新算法上传流程图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图算法编辑流程图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图算法删除流程图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图算法应用模块结构图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图挖掘结果展示流程图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图用户登录界面⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯一没ё⒉峤缑妗图没Ч芾砥教ā信息交互⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⑿兴惴ü芾砥教ā图己嚼浮峤蝗挝窭嘈汀脑膊季帧图残筒季帧图附诘阒行木断虿季帧Σ季帧图⑿型诰蛳低橙挝皲馈图ジ鋈挝袂榭鲣馈的设计框架⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.图模式说明⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯┱埂甿并行设计框架⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.图图基于姆窨蚣堋璴图浙江大学硕上学位论文
算法实现框架⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图基于频繁集的病症药关系的结果⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图算法实现框架⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图算法性能统计结果大小为⋯⋯⋯⋯⋯...⋯⋯⋯⋯⋯⋯~图算法性能统计结果大小为⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯算法性能测试结果⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.图中医方剂组成配伍拓扑图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯龇⑾值哪J剑笮》直鹗,浙江人学硕士学位论文图目录.
表目录表用数据挖掘算法填补的功效与原有功效的比较糠纸峁⋯⋯⋯⋯.表长度为囊┪锲捣蹦J菏⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.表药物的关联规则⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯表各种可能的配比关系⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯表图中被发现的模式的频率⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.表挖掘结果⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯。浙江大学硕士学位论文
,其主要原因是存在大量取的信息和知识可以广泛用于各种应用,包括医药研究,商务管理,生产控制,解的模式的非平凡过程【俊J萃诰蛴直蝗耸游J菘庵兄J斗⑾止痰囊桓龌本步骤,被称为数据库中知识发现广义上定义:数据挖掘就是从存放在数据库,数据仓库或其他信息库中的大量的数据中“挖掘”有趣知识的过程【俊有的信息发现任务都被视为数据挖掘过程。例如,信息检索领域的任务,是使用数据库管理系统查找某些记录,或通过因特网的搜索引擎查强信息检索系统的能力的。掷汗乐涤敕掷嗬嗨疲煌υ谟冢掷嗝枋龅氖离散型变量的输出,而估值处理连续值的输出;分类的类别是确定数目的,数据挖掘数据,可以广泛使用,并且迫切需要将这些数据转换成有用的信息和知识【。获市场分析,工程设计和科学探索等。数据挖掘,就是从大量数据中获取有效的、新颖的、潜在有用的、最终可理,‘。而虽然有些任务同样十分