医疗大数据项目实践：基于hadoopsparkmongodbmysql的医院临床知识库系统.docx

一、前言从 20 世纪 90 年代数字化医院概念提出到至今的 20 多年时间, 数字化医院( Digital Hospital) 在国内各大医院飞速的普及推广发展, 并取得骄人成绩。不但有数字化医院管理信息系统( HIS) 、影像存档和通信系统( PACS) 、电子病历系统( EMR) 和区域医疗卫生服务( GMIS) 等成功实施与普及推广,而且随着日新月异的计算机技术和网络技术的革新,进一步为数字化医院带来新的交互渠道譬如:远程医疗服务,网上挂号预约。随着 IT 技术的飞速发展, 80% 以上的三级医院都相继建立了自己的医院信息系统( HIS )、电子病历系统( EMR )、合理用药系统( PASS )、检验管理系统( LIS )、医学影像存储与共享系统( PACS )以及移动查房、移动护理系统以及与大量的第三方接口整合应用, IT 在医疗领域已经进入了一个大数据时代,随着 HIS 的广泛应用及其功能的不断完善, HIS 收集了大量的医疗数据。进入 2012 年,大数据及相关的大数据处理技术越来越多地被国人提及,人们也普遍的接受大数据的概念,大数据技术也影响着我们的日常生活, 互联网行业已经得到广泛应用, 电信、银行等行业也已经在广泛尝试使用大数据技术提供更稳健和优质的服务。在目前情况下,医疗 IT 系统收集了这些集其有价值的数据,但是这些大量的有价值的历史医疗数据并没有发挥出其应有的价值,不能为一线临床医生提供医疗诊断辅助,也不能为医院管理和经营决策提供必须的支持。针对以上现状, 思考拟利用医院现有的历史就诊记录、处方、诊断、病历数据, 挖掘出有价值的基于统计学的医学规则、知识,并基于这些规则、知识信息构建专业的临床知识库,为一线医务人员提供专业的诊断、处方、用药推荐功能,基于强大的关联推荐能力,极大的提高医疗服务质量,减轻一线医疗人员的工作强度。二、 Hadoop&Spark 目前大数据处理领域的框架有很多。从计算的角度上看, 主要有 MapReduce 框架( 属于 Hadoop 生态系统) 和 Spark 框架。其中 Spark 是近两年出现的新一代计算框架,基于内存的特性使它在计算效率上大大优于 MapReduce 框架;从存储角度来看,当前主要还是在用 Hadoop 生态环境中的 HDFS 框架。 HDFS 的一系列特性使得它非常适合大数据环境下的存储。 Hadoop Hadoop 不是一个软件,而是一个分布式系统基础架构,是由 Apache 基金会主持开发的一个开源项目。 Hadoop 可以使用户在不了解分布式底层实现的情况下, 开发分布式程序, 从而充分利用电脑集群的威力, 实现高速运算和大规模数据存储。 Hadoop 主要有 HDFS 、 MapReduce 、 Hbase 等子项目组成。 Hadoop 是一个能够对大量数据进行分布式处理的软件框架, 并且使用可靠、高效、可伸缩的方式进行数据处理。 Hadoop 假设数据处理和存储会失败, 因此系统维护多个工作数据副本, 确保能够针对失败的节点重新分布处理。 Hadoop 通过并行工作, 提高数据处理速度。 Hadoop 能够处理 PB 级数据, 这是常规数据服务器所不能实现的。此外, Hadoop 依赖于开源社区,任何问题都可以及时得到解决,这也是 Hadoop 的一大优势。 Hadoop 建立在 Linux 集群上,因此成本低,并且任何人都可以使用。它主要具有以下优点: 1 高可靠性。 Hadoop 系统中数据默认有三个备份, 并且 Hadoop 有系统的数据检查维护机制, 因而提供了高可靠性的数据存储。 2 扩展性强。 Hadoop 在普通 PC 服务器集群上分配数据,通过并行运算完成计算任务,可以很方便的为集群扩展更多的节点。 3 高效性。 Hadoop 能够在集群的不同节点之间动态的转移数据。并且保证各个节点的动态平衡, 因此处理速度非常快。 4 高容错性。 Hadoop 能够保存数据的多个副本,这样就能够保证失败时,数据能够重新分配。 Hadoop 总体架构如下图所示, Hadoop 架构中核心的是 MapReduce 和 HDFS 两大组件。 Google 曾发表论文《 Google File System 》,系统阐述了 Google 的分布式文件系统的设计实现, Apach e 针对 GFS , 进行开源开发, 发布了 Hadoop 的分布式文件系统: Hadoop Distributed File System, 缩写为 HDFS 。 MapReduce 的核心思想也由 Google 的一篇论文《 MapReduce:Simplified Data Processing on Large Clusters 》提出,筒单解释 Map