腾讯大讲堂17-性能优化不是仅局限于后台(Qzone)ppt课件.ppt

性能优化不是仅局限于后台----Qzone性能优化报告QQ空间产品中心QwangQzone优化概述存储优化日志重构访问优化接入层逻辑层表现层日志重构前问题分析数据量增长过快总数据量9T日增长量约20G扩容需进行大量数据搬迁Cache命中率低(50%),DB压力大旧系统结构模块日志回复日志标题日志计数优点CACHE内存化,提升性能多进程号段分布处理业务异步化缺点CACHE量有限,命中率低,对DB的性能依赖比较重模块相互独立,容易造成数据不一致Qzone数据层优化(日志重构)与产品经理的Trade-off区分近期日志与往期日志区分活跃数据、非活跃数据和历史归档数据二级缓存(内存+文件)针对单个号码进行路由新系统结构系统分三个模块:日志信息、日志标题、访问计数CGI层对日志标题、访问计数模块有读/写权限;对日志标题模块只有读权限,其数据来源于日志信息模块日志信息模块结构日志重构后的特点将数据区分为活跃数据、不活跃数据和历史归档数据,减少Cache数据量,提升Cache命中率Cache根据数据访问活跃度进行扩容DB根据存储容量进行扩容Qzone日志重构前后数据对比重构前重构后数据量日志标题Cache10台,69G,命中率90%10台,128G,命中率88%DB5台,340G5台,600G日志信息Cache20台,68G,命中率50%12台,3T,命中率80%DB20台,9T12台,10T日志计数Cache10台,122G,命中率100%10台,122G,命中率100%DB4台,100G4台,100G访问量日志标题7100次/秒6000次/秒日志信息5000次/秒4500次/秒日志计数7000次/秒10000次/秒Qzone访问速度慢Http请求量大,下载数据量大用户CPU消耗高用户经常投诉打不开Qzone