云计算服务 UI 性能测试的全自动化框架解决方案.doc

云计算服务 UI 性能测试的全自动化框架解决方案
简介: 性能是云计算产品极为关键的一个质量区域。作者所在的项目 IBM Smart Cloud Enterprise(以下均简称 SCE)是 IBM 云计算战略基于企业级的一款庞大而复杂的公有云产品,通过为用户提供可视化的网络平台接口,充分和快捷地帮助客户部署高灵活度的云方案。一直以来,无论从股东,客户,合作伙伴还是产品各团队,交互端的性能始终都是一个重要的议题。在过去的的半年里,产品的前端性能遇到了很大的挑战,提升用户体验之需求已迫在眉睫。作为性能团队,亟待解决的任务是如何搭建一套综合的全面的自动化框架,不仅可获得交互端应用程序性能的详细数据,甚至还包括客户机服务器的资源监控,网络环境模拟,多参数融合控制等在内的一整套的集成化自动解决方案,从而为战略决策和技术调优提供第一手的真实的科学的数据。这套解决方案不仅已应用于该项目本身,其设计思路,功能模块也适用于云工程领域的一般项目,并已在 IBM 云项目组里得到了一定程度的推广和使用。无论您是架构师,还是性能测试或开发人员,如果您想部署一套 UI 性能测试的方案,阅读此文相信会有所裨益。
这套综合的解决方案至少包括以下优点和功能:
紧凑,灵活
可重用,易部署
易配置,方便而友好的用户界面
实现了互联网平台交互端的自动化驱动
实现了产品环境,测试环境以及多数据中心的覆盖和全兼容
实现了浏览器缓存控制,更充分的体现测试的归类
实现了网络带宽的模拟和控制
实现了多轮基准测试的控制,可以方便地定制集合级别的一次性调度
实现了客户测试端和产品服务器端资源数据的自动捕获和数据集成
实现了基准测试独一化、整合化输出的封装
实现了无论集合测试还是单一测试共用数据管道的输出统一
设计架构
没有直接相关的成功经验可以借鉴,从零开始搭建一套综合的多功能的满足需求的云工程交互端性能解决方案是一项任务更是一个挑战。如何从专业而周密的角度做全局设计,我们面临诸多技术要素要去解决,例如
如何有效利用第三方引擎,设计、实现终端用户的自驱动和控制?
如何设计、实现一款合适的前端应用程序性能捕获工具?
如何设计、集成客户端服务器端系统数据的自动捕获和定向输出?
如何设计、实现公用数据管道的输出统一?
如何设计、实现基准测试独一化、整合化输出的封装?
如何设计、实现多轮基准测试的控制,可以方便地定制集合级别的一次性调度?
如何设计、实现网络带宽的模拟和控制?
如何设计友好的用户界面,简单易用,同时可配置多参数?
为便于您理解设计的脉络,以及内部模块之间的相互联系,我们给出此解决方案的整体开发架构图,如下图所示,
图 1. 总体开发架构图(查看大图)
由此架构图可以看出,整个框架是一个全面的端到端的自动化解决方案。自动化测试程序部署在测试机(client hosts),测试对象即产品服务部署在服务器(servers)。方案一共包括两个独立的大功能模块,其中 MainStream(baseline)顾名思义是基准测试,MainStream(run2run)则是多轮基准测试,如果把基准测试作为一个单元,那么 run2run 可以理解为可定制的重复单元测试集合。基准测试和多轮基准测试的实现本身都是互相独立的,区别在于后者调用了前者并重点在于调度控制。
基准测试是非常重要的,可以看到除多轮测试的虚线框之外的绝大部分都是在描述基准测试的设计和工作方式。测试的执行者只需要编辑好 properties 文本文件,通过这个唯一的接口传达给主程序必要的配置信息,剩下的就是程序自己全权运行了。那么程序本身究竟融合了哪些功能模块呢?
client capturing 是主程序自动捕获测试端的系统信息,比如在测试运行过程中 CPU 的数据,以及对此测试配置文件 的拷贝。
Network/Server capturing 是程序自动触发和捕获从测试端到产品服务器端之间的网络时延,以及 IP 路由数据。
除此之外,程序一开始就会根据配置文件的信息去实施带宽控制,在图中叫做 Automated Bandwidth Control Model,是否开启此功能以及如果开启的话上行和下载速率分别是多少均可以在 properties 中设置键值进行精确控制。
既然是 UI 的测试,必然需要触发 UI 操作,在图中叫做 Web Driver,我们基于 AutoIT 的 库作为 web 引擎写了完整的代码来控制页面操作。可以看到项目中我们一共关注了 6 个页面,分别是 Home, Login, Control Panel, Account, Overview, Logout。
在