建设DevOps统一运维监控平台.doc

建设DevOps统一运维监控平台建设DevOps统一运维监控平台--全面的系统监控日期:2017-03-1417:20浏览:100评论:0前言随着Devops、云计算、微服务、容器等理念的逐步落地和大力发展,机器越来越多,应用越来越多,服务越来越微,应用运行基础环境越来多样化,容器、虚拟机、物理机不一而足。面对动辄几百上千个虚拟机、容器,数十种要监控的对象,现有的监控系统还能否支撑的住?来自于容器、虚拟机、物理机、网络设备、中间件的指标数据如何采用同一套方案快速、完整的收集和分析告警?怎样的架构、技术方案才更适合如此庞大繁杂的监控需求呢? 目录:一、统一监控平台架构解析二、系统监控的技术栈三、开源系统监控软件ZabbixVSNagiosVSOpen-Falcon四、基于k8s容器云背景下的系统监控实践:cAdvisor+Heapster+Influxdb五、容器时代的监控利器:Prometheus一、统一监控平台架构解析先做一下回顾,统一监控平台由七大角色构成:监控源、数据采集、数据存储、数据分析、数据展现、预警中心、CMDB(企业软硬件资产管理)。监控源:从层次上来分,大致可以分为三层,业务应用层、中间件层、基础设施层。业务应用层主要包括应用软件、企业消息总线等,中间件层包括数据库、缓存、配置中心、等各种系统软件,基础设施层主要有物理机、虚拟机、容器、网络设备、存储设备等等。数据采集:数据源如此多样,数据采集的任务自然轻松不了。数据采集从指标上划分可以分为业务指标、应用指标、系统软件监控指标、系统指标。应用监控指标如:可用性、异常、吞吐量、响应时间、当前等待笔数、资源占用率、请求量、日志大小、性能、队列深度、线程数、服务调用次数、访问量、服务可用性等,业务监控指标如大额流水、流水区域、流水明细、请求笔数、响应时间、响应笔数等,系统监控指标如:CPU负载、内存负载、磁盘负载、网络IO、磁盘IO、tcp连接数、进程数等。从采集方式来说通常可以分为接口采集、客户端agent采集、通过网络协议主动抓取(http、snmp等)数据存储:采集到的数据一般都会存储到文件系统(如HDFS)、索引系统(如elasticsearch)、指标库(如influxdb)、消息队列(如kafka,做消息临时存储或者缓冲)、数据库(如mysql)数据分析:针对采集到的数据,进行数据的处理。处理分两类:实时处理和批处理。技术包括Map/Reduce计算、全日志检索、流式计算、指标计算等,重点是根据不同的场景需求选择不同的计算方式。数据展现:将处理的结果进行图表展现,在多屏时代,跨设备的支持必不可少。预警:如果在数据处理过程发现了问题,则需要进行异常的分析、风险的预估以及事件的触发或告警。CMDB(企业软硬件资产管理):CMDB在统一监控平台中是很重要的一环,监控源虽然种类繁多,但是他们大都有着关系,如应用运行在运行环境中,应用的正常运行又依赖网络和存储设备,一个应用也会依赖于其他的应用(业务依赖),一旦其中任何一个环节出了问题,都会导致应用的不可用。CMDB除了存储软硬件资产外,还要存储这样一份资产间的关联关系,一个资产发生了故障,要能根据这个关系迅速得知哪些其他的资产会被影响,然后逐一解决问题。OK,回顾到此为止,进入正题,系统监控。二、系统监控的技术栈系统监控的部分技术栈如下图所示,监控技术众多,这里自然不可能列出所有的技术,选择了部分比较经典、受欢迎的开源技术。系统监控不同于日志监控,有很多开源软件把数据库采集、数据存储、数据展现、事件告警的任务都完成了,所以对于系统监控的技术栈中,将这些开源软件暂且排除,待后面章节再进行讲解。此处主要关注于如何自建一个统一系统监控平台。数据采集:系统监控数据采集一般分为两种方式:主动采集、客户端采集。主动采集一般是通过SNMP、SSH、、IPMI、JMX等手段进行远程采集,客户端采集则是需要在每一个要监控的主机中部署一个客户端进行数据采集并发送到远程服务端进行接收。数据缓冲:和日志监控一样,在面临海量监控时,考虑到网络的压力和数据处理的瓶颈,可以在数据存储前先经过一层数据缓冲,将采集到的数据先放置到消息队列中,然后再从分布式队列中读取数据并存储。如果数据量不大的话,则可以不考虑此层。数据存储:对于系统监控数据,通常采用时序数据库来存储,时序数据库全称为时间序列数据库。时间序列数据库主要用于指处理带时间标签(按照时间的顺序变化,即时间序列化)的数据,带时间标签的数据也称为时间序列数据。如influxdb和opentsdb,是其中翘楚。