Web应用中的海量数据访问缓存技术.doc

Web应用中的海量数据访问缓存技术Web应用中的海量数据访问缓存技术2007年9月第21卷第3期总69期北京联合大学(自然科学版)JournalofBeijingUnionUniversity(NaturalSciences)(北京联合大学信息学院,北京100101)[摘要]随着Web技术的不断发展,Web支持的业务访问量也与日俱增,,针对存在的一些不足,提出了一个海量数据访问处理的框架模型,即通过综合运用各类数据缓存技术,使设计出的程序限制性地使用硬件资源,避免了过载宕机,提高数据的重用性,,这种模型可以提高数据存取的效率和并行处理能力.[关键词]海量数据;缓存技术;数据存取[中图分类号]TP274[文献标识码]A[文章编号]1005—0310(2007)03—0045—05现今,Web技术在Intemet上得到了广泛应用,它支持实时的信息发布,动态的用户交互,,如何构造功能更加强大,应用更为稳定,开发更为简便的Web应用程序,,Web应用中的数据量越来越大,海量数据访问应用的处理更是热点中的热点,尤其在通讯,票务,电子商务,,在如此大量的访问和数据处理情况下,如果程序设计和硬件结构没有合理的解决方案,那么系统很容易会因为负载过重造成瘫痪,,,即使用web应用服务器的集群和数据库服务器的集群来增加硬件的处理能力,,往往会增加很大的硬件成本,并且还要根据业务的发展不断地投入设备,,建立一个适合于海量访问和数据处理的框架模型,,,本文以网络短信平台的数据处理为例,从程序设计的角度阐述了一个海量数据访问处理的框架,即通过综合运用各类数据缓存技术,使设计出的程序限制性地使用硬件资源,避免了过载宕机,提高数据的重用性,减少数据库的访问,,,,然后提出海量数据访问处理的框架模型,(TP,ThreadPoo1)进程是程序在一个数据集合上的运行过程,是系统进行资源分配和调度的一个独立的单位n].由于进程是一个资源拥有者,在进程的创建,撤消和切换过程中,,在系统中所设置的进程数目不宜过多,进程切换的频率也不宜过高,,而把进程作为资源拥有的基本单位,使传统进程的两个属性分开,线[收稿日期]2006—07—20[作者简介]商新娜(1978一),女,北京市人,北京联合大学信息学院教师,工学硕士,从事数据库及数据挖掘方向的研46北京联合大学(自然科学版)2007年9月程便能轻装运行,,销毁以及切换,,每个请求创建新线程的服务器在创建和销毁线程上花费的时间和消耗的系统资源,,,如果在一个服务器里创建太多的线程,可能会导致系统由于过度消耗内存或切换过度而导致系统资源不足,,同时减少线程频繁创建和销毁带来的系统开销,特别是一些资源耗费比较大的线程的创建和销毁开销,提高系统的大访问量的处理性能和速度,需要事先创建一定数量的线程供调用者循环反复使用,这就是"线程池",线程创建的开销就被分摊到了多个任务上,而且由于在请求到达时线