学生事务中心大数据平台建设.docx

学生事务中心大数据平台建设.docx学生事务中心大数据平台建设摘要:采用互联网+、云计算、大数据相结合的技术,建立学生事务大数据平台,对接现有的业务数据库和文件数据,通过优秀的ETL工具对中心业务有帮助的各种不同的存储格式的数据源进行集中整合,建立集中数据仓库,深入挖掘,实现智慧分析提供决策依据。/1/view-:云计算大数据数据中心中图分类号:G645文献标识码:A文章编号:1674-098X(2018)02(a)-0158-02学生事务中心通过10余年的信息化建设,已建成以业务条线为主体的“2+8+2”的12个平台的建设,包括学生学籍信息、学生就业信息、学生资助信息,非上海生源落户信息等各类信息累计已超过千万条,在各个系统数据库中横向还不能通过数据库层直接调用。希望在建设大数据平台,打通各个系统间的数据壁垒,建设一个学生事务中心的统一数据中心。1建设学生事务中心大数据平台的意义大数据重在实时处理与应用,以获得所需要的信息和知识,从而实现商业价值以及为学生事务管理服务。数据挖掘和人工智能等应用工具在大数据处理中发挥着重要作用,现代信息技术是大数据赖以存在和发展的重要支?瘟α俊=饩鲂畔⒐碌海?通过大数据分析,挖掘历年沉淀的学生信息数据,意义重大。:服务器群、大数据集中存储、万兆网络等。平台运行软件环境:Linux、服务器虚拟化软件、数据库、地图、可视化BI软件等。平台运行技术:采用分布式云计算技术,弹性扩张平台运算能力。(1)对接现有的业务数据库和文件数据。(2)融合各类业务系统数据资源。将分散在各个业务子系统中的数据归集起来(包括自有数据、上级数据、外部数据等),通过建立大数据平台,进而充分挖掘数据价值,提供全员使用的检索功能,提供多维度数据支持。通过优秀的ETL工具对中心业务有帮助的各种不同的存储格式的数据源进行集中整合,建立集中数据仓库:文本格式、oracle数据库、sql数据库、sysbasee数据库、access数据库、txt文件、excle文件、data文件等;建设可配置的自动抽取方案。(3)建立分布式文件系统。建立分布式大数据数据仓库,包括分布式关系型数据库、对象存储、图数据库。对不同来源的每条数据给予40位唯一哈希值,避免数据的重复性。建立数据索引,便于快速查询以及快速调用。元数据管理。数据的安全管理和审计。,多达数百种标签的定义。表关联定义。关系发掘。搜索引擎,包括全文检索、渐进式搜索、单表查询等。算法库建设,数据的分析挖掘、比对碰撞。可视化建设,包括地理位置展现,仪表盘,图表建设。:结合学籍管理经验,自定义各类指标,系统自动计算汇总异常指标,并发送给应用系统及相关警员。比对模型。通过比对模型比对出来的预警信息,系统可以根据设定自动发送到指定的单位。学生管理。知识管理。,应用层可以通过大数据平台获取综合信息及数据分析的结果。3基于云计算的大数据平台设计大数据支撑体系架构如下。建设基于云计算的大数据平台管理软件,对大数据底层软件进行统一管理,既要管理服务总线,又要统一管理大数据底层各类软件。各个业务系统需要通