lenovointelligentcomputingorchestration白皮书.doc

、监控和报警 29概述概要随着互联网的普及和IT业的高速发展,高性能计算已经不再是少数大公司或大型科研机构的专属要求,而是被越来越多的包括政府,教育科研,石油石化,制造,军工和生命科学类的客户所需要和接受。当前高性能计算的解决方案中,puting十分昂贵和庞大。这就造成很大一部分HPC客户无法承受。另外还有一些HPC客户对高性能产品和方案有着很强的定制化和二次开发的需求,他们并不希望自身被复杂的庞大的商业软件所绑架。基于以上需求和综合考虑,putingOrchestration联想智能超算平台。它是基于主流的高性能计算开源项目,并由LenovoEBG研发团队加入了一些符合自身的特性功能插件,并且在联想Systemx平台上测试和验证。目标读者本文档主要面向联想公司内部技术人员,销售人员,客户中的技术人员,联想签约合作伙伴和数据中心管理和运维人员。本文档读者需要具备一定的高性能计算,服务器集群的基础知识,并对服务器和数据中心基础架构以及存储,网络设备有一定的了解。putingOrchestration解决方案解决方案架构一个完整的HPC集群由以下五类节点组成:,肩负着集群管理,监控,调度,策略管理,用户和账户管理等主要功能。我们选用一台x3650M4/M5搭载2块E5-2600v2/v3CPU,64GB的内存,2块300GB的硬盘和相应的网卡或IB卡作为管理节点的硬件平台。 开源软件方面,我们选用xCAT和Ganglia来担负集群管理,部署和监控的任务,xCAT和Ganglia在HPC集群管理和监控方面有着很多年的沉淀,很多HPC集群管理员对他们的使用十分熟悉。在任务调度方面,我们选用TORQUE加MAUI这样的黄金组合,他们也是被市场多年验证过的成熟开源软件产品。计费方面,我们选用和MAUI同属一个社区的Gold,来尽量减少产品间的冲突。 计算节点的功能顾名思义,就是完成高性能计算的任务。 我们选用非常适合高性能计算的服务器NeXtScalenx360M4/M5或Flexx240M4/M5,搭载2块E5-2600v2/v3CPU,64-128GBmemory,1块300GBHDD和相应的网卡或ib卡作为计算节点的硬件平台。 开源软件方面,我们预装了多种开源的MPI运行库,包括MPICH,OpenMPI,MVAPICH2,基本上涵盖了市面上所有最通用的MPI开源库。用户也可以选装Intel公司的IntelParallelstudio库。同时TORQUE,Ganglia等软件的客户端也需要安装在计算节点上。 GPU节点和普通的计算节点十分相像,从硬件上看,它比普通的计算节点多了GPU来专门做浮点运算。从软件上看,我们预安装了CUDA。 登录节点是HPC集群联系外部网络或集群之间的纽带。用户需要通过它来完成用户的登录并用它来上传应用数据,开发编译程序,提交调度任务等。我们选用x3650M4/M5搭载2块E5-2600v2/v3CPU,64GB以上内存,2块300GB的硬盘和相应的网卡或IB卡作为登录节点的硬件平台。 开源软件方面,我们预安装多种开源的MPI编译库和运行库,包括MPICH、OpenMPI、MVAPICH2,基本上涵盖了市面上所有最通用的MPI开源库。用户也可以选装Intel公司的IntelParallelstudio库。我们同时预安装了GNU编译器作为最基本的编译环境。当然,TORQUE、Ganglia等客户端也需要安装在登录节点上。(I/O节点) 存储节点为整个HPC集群提供了分布式文件系统服务。用户通常会在存储节点上连接一个或多个外置存储设备,以保证HPC的数据安全和容量。我们选用一台x3650M4/M5搭载2块E5-2600v2/v3CPU,64GB以上内存,2块300GB的硬盘和相应的网卡或IB卡作为存储节点的硬件平台。由于存储节点上常常会连接