中间件在多路平台上的numa调优指南.doc

中间件在多路平台上的NUMA调优指南
文档更新记录
文档编号:
文档名:
中间件在多路平台上的NUMA调优指南
版本号

创建人:
王雪倩
创建日期:

更新历史
序号.
更新日期
更新人
更新内容
1

王雪倩
第一版
2

王雪倩
添加附录A:3B1500、3B2000四路服务器启动脚本;中间件需要修改的端口号中添加<listener>
3
4
5
目录
1. NUMA调优原理 4
2. 多路服务器的NUMA绑定优化方法 4
查看系统cpubind数 5
复制多份中间件,修改端口号 5
对中间件启动脚本进行numa绑定 6
配置负载均衡器 6
检查numa绑定状态 7
3. 性能提升案例 7
1. NUMA调优原理
在龙芯的多路服务器上,可能会出现这样一种现象:多路服务器的性能比单路服务器的性能提升不明显。典型的是运行中间件这种多线程的并发应用。
原因是多路服务器上是有多个CPU和多个物理内存条,普遍使用的SMP(对称多处理)模型,即操作系统将多个物理内存条作为一大块连续内存,所有CPU都能够访问到这个共享内存的所有单元。但是,由于处理器之间互联进行通讯时要有一定的开销,因此所有CPU到所有物理内存的访问速度是不同的,是NUMA(Non-Uniform Memory Access)模型。
以图1为例,一台机器有2个处理器(cpu0, cpu1),在每个处理器上接两个内存条(, , ,),总共有4个内存块。一个处理器和直接相连的两个内存条合起来,称为一个NUMA node,这样这个机器就会有两个NUMA node。在物理分布上,一个NUMA node之内的处理器和内存块的物理距离更小,因此访问也更快。而如果跨node访问内存,则速度会变慢。在NUMA node1中,。
基于这一个原理,可以解释“多路服务器的性能比单路服务器的性能提升不明显”的问题。对于运行在多路服务器上的多线程应用程序,操作系统默认会随机分配物理内存,从而导致线程运行在CPU0上、而访问的数据位于CPU1所连接的memory上,这样会导致应用程序运行速度下降。
为了充分发挥多路服务器上应用程序的性能,可以利用操作系统提供的命令工具,对应用程序使用的CPU和物理内存进行绑定,保证本node内的CPU只访问本node内的内存块。本文档就介绍这样一种优化方法,在实施之后一般都能够使多路服务器上的中间件提升80%性能。
CPU0
CPU1
SLOW
FAST
FAST
FAST
FAST




图 1 NUMA架构
2. 多路服务器的NUMA绑定优化方法
比如一个OA系统在3B2000双路服务器上运行,进行压力测试时发现性能较低,不能满足用户需求,那么接下来就需要进行多路服务器的NUMA绑定调优。以3B2000双路服务器为例,介绍具体实