明略数据mdp2.0 白皮书.pdf

MDP:MininglampDataPlatform产品白皮书基于ApacheHadoop的大数据平台,专注于安全、可靠、易用、开放的企业级需求明略数据2015/10/1北京明略软件系统有限公司MiningLampSoftwareSystemCo.,:102218F4,1#,ZhongmeiConstructionGroupPlaza,ZhongdongRoad,ChangpingDistrict,--(MDP)是明略数据基于ApacheHadoop研发的大数据平台。MDP不仅提供海量数据存储和多种高性能计算框架,还为保护平台上的数据和服务提供了完整的安全保障体系、图形化的平台管理和作业、统一的身份认证和权限管理、细粒度的权限控制以及实时增量数据同步工具。除了Hadoop组件外,MDP集成了明略自有组件包含:•统一集群与服务管理NoahArk•ess•统一数据作业平台DataOne•细粒度的跨引擎SQL权限控制组件ACRE•实时增量关系数据库同步工具INCRMDP包含了十六种Hadoop社区最常用的组件,可以支撑多种计算类型的应用的混合负载,例如批处理应用、交互式查询、高频读写、全文检索、数据挖掘和实时流计算等多种计算北京明略软件系统有限公司MiningLampSoftwareSystemCo.,:102218F4,1#,ZhongmeiConstructionGroupPlaza,ZhongdongRoad,ChangpingDistrict,--56842040H.。各行各业可基于这些计算手段和方式进行上层应用的建设。图2MDP支持混合业务负载统一集群与服务管理NoahArkNoahArk(诺亚方舟)是明略自主研发的企业级Hadoop管理系统。NoahArk为MDP提供可视化的集群管理支持,帮助管理员提高运维效率、保证服务质量、优化集群性能、减少管理成本。NoahArk的主要功能包含仪表盘、机器管理、服务管理、调度器配置、安全审计、安全管理等功能模块。NoahArk的特点:极速部署NoahArk系统针对hadoop生态系统中常用服务组合,提供简洁的整体安装方案,达到1小时内构建整个数据平台的急速部署。精简操作NoahArk的设计目标是在任何规模,都能简单和明确的管理企业数据平台;用户可以集中地部署和管理整个集群。NoahArk重点优化集群管理的常用操作,力求一键式管理;并支持扩展非常用操作。便捷扩展NoahArk不仅能便捷横向扩展节点,也可以扩展符合标准的服务;使企业一站式管理集群上的全部服北京明略软件系统有限公司MiningLampSoftwareSystemCo.,:102218F4,1#,ZhongmeiConstructionGroupPlaza,ZhongdongRoad,ChangpingDistrict,--,包括hadoop生态系统中的组件和其他业务组件。安全生产NoahArk为大数据平台提供最高级别的保障,实时监控硬件、系统、数据平台、在线服务等各个部分,发现故障第一时间报警;同时,NoahArk还具备安全审计的功能,可对用户访问服务和数据的行为进行审计。全面管理NoahArk系统实现了所见即所得的效果,提供了统一的机器和服务的安装部署、实时监控、运维管理、日志汇总等功能,并提供可视化、易用性界面,满足运维管理人员针对集群机器、服务及组件的统一运维管理需求;统一集中式管理使得集群部署和运维操作更加快速、规范,监控报警更加实时有效;统一的日志管理方便更加快速定位、解决集群中存在的问题。丰富APINoahArk系统提供了丰富的API接口,ess是MDP中负责账号和权限管理的组件。它主要由以下特点:ess使用LDAP存储平台上的用户身份信息,并支持与企业原有的用户体系对接。ess集成了Kerberos作为MDP的安全身份认证体系,支持单点登录。北京明略软件系统有限公司MiningLampSoftwareSystemCo.,:102218F4,1#,ZhongmeiConstructionGroupPlaza,ZhongdongRoad,ChangpingDistri