高并发和大流量解决方案.doc

高并发和大流量解决方案
让匠心精神传给更多的人高并发和大流量解决方案#高并发架构相关概念#
并发：在操作系统中，是指一个时间段中有几个程序都处于已启动运行到运行完毕之间，且这几个程序都是在同一个处理机上运行，但任高并发和大流量解决方案
让匠心精神传给更多的人高并发和大流量解决方案#高并发架构相关概念#
并发：在操作系统中，是指一个时间段中有几个程序都处于已启动运行到运行完毕之间，且这几个程序都是在同一个处理机上运行，但任意一个时刻上只有一个程序在处理机上运行。我们说的高并发是什么？上面的定义明显不是我们通常所言的并发，在互联网时代，所讲的并发、高并发，通常是指并发访问。也就是在某个时间点，有多少个访问同时到来通常如果一个系统的日PV在千万以上，有可能是一个高并发的系统，但是有的公司完全不走技术路线，全靠机器堆，这不在我们的讨论范围。高并发的问题，我们具体该关心什么？QPS：每秒钟请求或者查询的数量，在互联网领域，指每秒响应请求数(指HTTP请求)吞吐量：单位时间内处理的请求数量(通常由QPS与并发数决定)响应时间：从请求发出到收到响应花费的时间，例如系统处理一个HTTP请求需要100ms，这个100ms就是系统的响应时间PV：综合浏览量(Page View)，即页面浏览量或者点击量，一个访客在24小时内访问的页面数量，同一个人浏览你的网站同一页面，只记作一次PVUV：独立访问(UniQue Visitor)，即一定时间范围内相同访客多次访问网站，只计算为1个独立访客带宽：计算带宽大小需关注两个指标，峰值流量和页面的平均大小 日网站带宽=PV/统计时间(换算到秒)*平均页面大小(单位KB)*8峰值一般是平均值的倍数，根据实际情况来定QPS不等于并发连接数QPS是每秒HTTP请求数量，并发连接数是系统同时处理的请求数量(总PV数*80%)/(6小时秒数*20%)=峰值每秒请求数(QPS)80%的访问量集中在20%的时间！！！QPS达到极限，各种情况如何处理？随着QPS的增长，每个阶段需要根据实际情况来进行优化，优化的方案也与硬件条件、网络带宽息息相关。QPS达到50可以称之为小型网站，，那么100QPS意味这1秒钟完成100次请求，但是此时我们并不能保证数据库查询能完成100次方案：数据库缓存层、数据库的负载均衡QPS达到800假设我们使用百兆带宽，意味着网站出口的实际带宽是8M左右假设每个页面只有10k，在这个并发条件下，百兆带宽已经吃完方案：CDN加速、负载均衡QPS达到1000假设使用Memcache缓存数据库查询数据，每个页面对Memcache的请求远大于直接对DB的请求Memcache的悲观并发数在2W左右，但有可能在之前内网带宽已经吃光，表现出不稳定方案：静态HTML缓存QPS达到2000这个级别下，文件系统访问锁都成为灾难方案：做业务分离，分布式存储
#三种高并发解决方案#
一、数据库缓存层的优化什么是数据库缓存？MySQL等一些常见的关系型数据库的数据都存储在磁盘中，在高并发场景下，业务应用对MySQL产生的增、删、改、查的操作造成巨大的I/O开销和查询压力，这无疑对数据库和服务器