NVIDIAGPU上的Linpack性能测试初探.docx

NVIDIAGPU上的Linpack性能测试初探.docxNVIDIA GPU

上的

Linpack

性能测试初探
1. Linpack

测试简介
Linpack

性能测试是高性能计算机的标准测试之一，

其测试性能是全球

Top500超级计算
机排行榜的排名依据 [1] 。 Top500 每年公布两次排行榜，在 2010年 6月的榜单中，由曙光公司研制的星云超级计算机取得了第 2名的好成绩，其采取了通用 CPU (Intel Xeon 5650) 和异构加速部件 (NVIDIA Tesla C2050) 的混合架构。在本次榜单中，以 GPU作为加速部件的超级计算机还有国防科大研制的天河 1号 ( 第7名 ) 和中科院过程所研制的 IPE Mole-( 第19名 ) 等。
简单来说，

Linpack

测试是用高斯消元法求解稠密线性方程组

(64 位的双精度浮点数

) 。
CPU上，有标准的参考实现 HPL软件包 [2] ，其实现了二维块卷帘的数据分布，部分选主元的 LU 分解，递归的 Panel 分解， look-ahead 技术，多种广播算法等多种算法和优化。在
进行 Linpack 测试时，可选取不同的 HPL参数组合 ( 比如：矩阵规模 N，分块大小 nb 等 ) ，
不同的 BLAS与 MPI 库，不同的编译参数等进行调优，以得到较好的 Linpack 性能。
2. HPL

软件包在

NVIDIA GPU 上移植和优化
由于

HPL软件包实现了较多的功能和优化，所以在

NVIDIA GPU 上的

Linpack

测试也以
此为基础，进行移植和优化。 本文介绍的 HPL软件包的移植与实现方式， 主要参考了 Fatica[3] 的利用 NVIDIA GPU加速 Linpack 的工作。
发现

文献 [4] 中对于 HPL软件包在 Linpack
dgemm函数的执行时间占到了大部分

测试时各个函数的运行时间进行了统计和分析，
( 约 90%左右 ) ，其次是 dtrsm 函数。所以，我们的
基本思想是关注利用

GPU加速

dgemm与

dtrsm

函数。同时，此种方式也使代码的改动量较小。
具体如下：
CPU与

GPU混合的

dgemm实现
CPU与 GPU混合的 dgemm实现，就是将矩阵乘法中的一部分放到 GPU上进行，调用 NVIDIA
CUBLAS中的 dgemm函数 ; 同时，另一部分调用 CPU上 BLAS库中的 dgemm函数，比如 Intel MKL，
AMD ACML，GotoBLAS等。使得 CPU与 CPU可以同时进行计算。
矩阵的划分如图 1所示，分成了图 1中左 ( 竖切 B) 和右 ( 横切 A) 两种情况。原因是在 HPL
调用中，矩阵乘法的参数 M