大数据性能测试方案-V.0377.pdf

该【大数据性能测试方案-V.0377 】是由【Alphago】上传分享，文档一共【18】页，该文档可以免费在线阅读，需要了解更多关于【大数据性能测试方案-V.0377 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。:.
编号:
密级:
"
XXX大数据平台
性能测试方案
[]
】
拟制人:
审核人:
批准人:
[2016年01月08日]
:.
。
文件变更记录
*A-增加M-修订D-删除
版本号日期变更类型修改人摘要审核人
'
(A*M*D)备注
2016-01-08A新建性能测试方案
*
<
:
(
【
!
…
:.
\
:.
目录
目录...................................................................................................................................................................I
1引言..................................................................................................................................................................1
编写目的......................................................................................................................................1
测试目标......................................................................................................................................1
读者对象......................................................................................................................................1
术语定义....................................................................................................................................................1
2环境搭建..........................................................................................................................................................1
测试硬件环境............................................................................................................................................1
软件环境....................................................................................................................................................2
3测试范围..........................................................................................................................................................2
测试功能点................................................................................................................................................2
测试类型....................................................................................................................................................2
性能需求......................................................................................................................................................3
准备工作......................................................................................................................................................3
测试流程....................................................................................................................................................3
...........................................................................................................................................................4
基准测试....................................................................................................................................................4
Hadoop/Spark读取算法的基准测试...............................................................................................4
Hadoop/Spark写入算法的基准测试...............................................................................................5
Hadoop/Spark导入算法的基准测试...............................................................................................6
Hadoop/Spark导出算法的基准测试...............................................................................................7
负载测试....................................................................................................................................................8
Hadoop/Spark并行读取/写入算法的负载测试.............................................................................8
Hadoop/Spark并行导入/导出算法的负载测试.............................................................................9
稳定性测试..............................................................................................................................................10
Hadoop/Spark并行读取/写入/导入/导出算法,7*24小时稳定性测试...................................10
5测试交付项....................................................................................................................................................12
6测试执行准则................................................................................................................................................12
测试启动..................................................................................................................................................12
测试执行..................................................................................................................................................12
测试完成..................................................................................................................................................13
7角色和职责....................................................................................................................................................13
8时间及任务安排............................................................................................................................................13
9风险和应急....................................................................................................................................................14
影响方案的潜在风险................................................................................................................................14
应急措施....................................................................................................................................................14
:.
1引言

本测试方案将对XXX大数据平台的测试方案、测试范围,测试的软件硬件环境、测试进度、测试
人员的分工和职责以及测试流程进行详细的定义和整体的描述。

本次性能测试的目标是检测《XXX大数据平台》在服务器上运行时,了解该服务器的各项性能情况。

本方案的预期读者是:项目负责人、测试人员、运维人员和其他相关人员。
术语定义
术语定义
通过自动化的测试工具模拟多种正常、峰值以及异常负载条件来对系统的各项性能指
性能测试
标进行测试
场景用于根据性能要求定义在每一个测试会话进行期间发生的事件
事务表示要度量的最终指定的某个特定业务
2环境搭建
测试硬件环境
服务器名数量期望到位阶段备注
服务器1开发提测前
:.
软件环境
资源名称配置
3测试范围
测试功能点
编号测试点对应算法备注
1Hadoop读取
2Hadoop写入
3Hadoop导入
4Hadoop导出
5Spark读取
6Spark写入
7Spark导入
8Spark导出
测试类型
类型定义备注
单事物单用户测试,目的是对选择的单用户在无压力情况下(无
基准测试额外进程运行并占用系统资源)情况下,获取系统处理单请求
的情况
负载测试
通过逐步增加系统负载,测试系统性能的变化
通过给系统加载一定业务压力,运行7*24小时,以此检测系统
稳定性测试
是否稳定运行。
:.
性能需求
名称指标备注
CPU
使用率不高于80%
内存
使用率不高于80%
I/O
使用率不高于80%
响应时间
Network使用率不高于80%
准备工作
,确保功能上没有问题;
,被测项目已部署;
;
;
,并配置好每个场景的设置;
,并规范对执行结果进行命名
测试流程
:.

基准测试
Hadoop/Spark读取算法的基准测试
场景1:数据容量100G时,进行读取算法的基准测试
用例名称数据量100G,读取功能的基准测试算法读取
验证功能Hadoop/Spark的读取测试
测试目的对比Hadoop/Spark的读取算法,进行数据容量100G读取操作时,redpower服务器运行情况
前置条件



运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注
Hadoop
Spark
Spark
场景2:数据容量500G时,进行读取算法的基准测试
用例名称数据量500G,读取功能的基准测试算法读取
验证功能Hadoop/Spark的读取测试
测试目的对比Hadoop/Spark的读取算法,进行数据容量500G读取操作时,redpower服务器运行情况
前置条件



运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注
Hadoop
Spark
Spark
场景3:数据容量1T时,进行读取算法的基准测试
用例名称数据量1T,读取功能的基准测试算法读取
验证功能Hadoop/Spark的读取测试
测试目的对比Hadoop/Spark的读取算法,进行数据容量1T读取操作时,redpower服务器运行情况
:.
前置条件



运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注
Hadoop
Spark
Spark
Hadoop/Spark写入算法的基准测试
场景1:数据容量100G时,进行写入算法的基准测试
用例名称数据量100G,写入功能的基准测试算法写入
验证功能Hadoop/Spark的写入测试
测试目的对比Hadoop/Spark的写入算法,进行数据容量100G写入操作时,redpower服务器运行情况
前置条件



运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注
Hadoop
Spark
Spark
场景2:数据容量500G时,进行写入算法的基准测试
用例名称数据量500G,写入功能的基准测试算法写入
验证功能Hadoop/Spark的写入测试
测试目的对比Hadoop/Spark的写入算法,进行数据容量500G写入操作时,redpower服务器运行情况
前置条件



运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注
Hadoop
Spark
Spark
:.
场景3:数据容量1T时,进行写入算法的基准测试
用例名称数据量1T,写入功能的基准测试算法写入
验证功能Hadoop/Spark的写入测试
测试目的对比Hadoop/Spark的写入算法,进行数据容量1T写入操作时,redpower服务器运行情况
前置条件



运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注
Hadoop
Spark
Spark
Hadoop/Spark导入算法的基准测试
场景1:数据容量100G时,进行导入算法,查看服务器的相关性能指标
用例名称数据量100G,导入功能的基准测试算法导入
验证功能Hadoop/Spark的导入测试
测试目的对比Hadoop/Spark的导入算法,进行数据容量100G导入操作时,redpower服务器运行情况
前置条件



运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注
Hadoop
Spark
Spark
场景2:数据容量500G时,进行导入算法,查看服务器的相关性能指标
用例名称数据量500G,导入功能的基准测试算法导入
验证功能Hadoop/Spark的导入测试
测试目的对比Hadoop/Spark的导入算法,进行数据容量500G导入操作时,redpower服务器运行情况
前置条件



运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注
Hadoop
:.
Spark
Spark
场景3:数据容量1T时,进行导入算法,查看服务器的相关性能指标
用例名称数据量1T,导入功能的基准测试算法导入
验证功能Hadoop/Spark的导入测试
测试目的对比Hadoop/Spark的导入算法,进行数据容量1T导入操作时,redpower服务器运行情况
前置条件



运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注
Hadoop
Spark
Spark
Hadoop/Spark导出算法的基准测试
场景1:数据容量100G时,进行导出算法,查看服务器的相关性能指标
用例名称数据量100G,导出功能的基准测试算法导出
验证功能Hadoop/Spark的导出测试
测试目的对比Hadoop/Spark的导出算法,进行数据容量100G导出操作时,redpower服务器运行情况
前置条件



运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注
Hadoop
Spark
Spark
场景2:数据容量500G时,进行导出算法,查看服务器的相关性能指标
用例名称数据量500G,导出功能的基准测试算法导出算法
验证功能Hadoop/Spark的导出测试
测试目的对比Hadoop/Spark的导出算法,进行数据容量500G导出操作时,redpower服务器运行情况
前置条件


:.

运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注
Hadoop
Spark
Spark
场景3:数据容量1T时,进行导出算法,查看服务器的相关性能指标
用例名称数据量1T,导出功能的基准测试算法导出
验证功能Hadoop/Spark的导出测试
测试目的对比Hadoop/Spark的导出算法,进行数据容量1T导出操作时,redpower服务器运行情况
前置条件



运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注
Hadoop
Spark
Spark
负载测试
Hadoop/Spark并行读取/写入算法的负载测试
场景1:数据容量100G时,并行读取/写入算法的混合测试场景
用例名称数据量100G,并行读取/写入的负载测试算法读取/写入
验证功能Hadoop/Spark并行读取/写入测试
测试目的对比Hadoop/Spark的并行读取/写入,进行数据容量100G操作时,redpower服务器运行情况
前置条件



运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注
Hadoop
Spark
Spark
:.
场景2:数据容量500G时,并行读取/写入算法的混合测试场景
用例名称数据量500G,并行读取/写入的负载测试算法读取/写入
验证功能Hadoop/Spark并行读取/写入测试
测试目的对比Hadoop/Spark的并行读取/写入,进行数据容量500G操作时,redpower服务器运行情况
前置条件



运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注
Hadoop
Spark
Spark
场景3:数据容量1T时,并行读取/写入算法的混合测试场景
用例名称数据量1T,并行读取/写入的负载测试算法读取/写入
验证功能Hadoop/Spark并行读取/写入测试
测试目的对比Hadoop/Spark的并行读取/写入,进行数据容量1T操作时,redpower服务器运行情况
前置条件



运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注
Hadoop
Spark
Spark
Hadoop/Spark并行导入/导出算法的负载测试
场景1:数据容量100G时,并行导入/导出算法的混合场景测试
用例名称数据量100G,并行导入/导出的负载测试算法导入/导出
验证功能Hadoop/Spark并行导入/导出测试
测试目的对比Hadoop/Spark的并行导入/导出,进行数据容量100G操作时,redpower服务器运行情况
前置条件



运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注
Hadoop
:.
Spark
Spark
场景2:数据容量500G时,并行读取/写入算法的混合场景测试
用例名称数据量500G,并行导入/导出的负载测试算法导入/导出
验证功能Hadoop/Spark并行导入/导出测试
测试目的对比Hadoop/Spark的并行导入/导出,进行数据容量500G操作时,redpower服务器运行情况
前置条件



运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注
Hadoop
Spark
Spark
场景3:数据容量1T时,并行读取/写入算法的混合场景测试
用例名称数据量1T,并行导入/导出的负载测试算法导入/导出
验证功能Hadoop/Spark并行导入/导出测试
测试目的