网络152 蒋发明 吴宏磊 郑杨子 大数据处理.doc

课程设计报告设计(论文)题目:大数据处理学院名称:电子与信息工程学院专业班级:网络工程15-2班成员姓名:吴宏磊学号**********成员姓名:郑杨子学号**********成员姓名:蒋发明学号**********指导教师:盛啸涛年1月6日目录一、 概述 31、 实验内容 32、 实验目的 33、 组员权重: 3二、 系统设计 31、 题目分析: 32、 数据结构设计 33、 程序流程图 34、 详细设计 3三、 实验结果 3四、 实验总结 31、 工作日志 32、 实验心得 33、 参考文献 3五、 附件:程序源码 3概述实验内容(1)读取文件中的密码(password)字段,统计密码出现的次数count,。不需要排序。格式:每行一条记录,password和count中间用TAB分隔(即C语言中的\t)。(ReadPassword) (2),对密码出现次数按照降序排序。分别采用:直接插入排序、希尔排序、冒泡排序、快速排序、直接选择排序、堆排序、归并排序、基数排序;求出每种排序方法所需要的绝对时间。屏幕上输出各种各种排序的绝对时间。最后屏幕上输出出现次数最多的20个密码及次数。(RankTimePassword) (3),使用链表存放,使用顺序查找,随机生成2000个user_id(1~1,230,000之内的),再随机生成20个user_id(大于1,230,000的),输出查找所花总时间。(SearchTimeNode) (4),按照用户id使用二叉排序树存放,随机生成2000个user_id(1~1,230,000之内的),再随机生成20个user_id(大于1,230,000的),输出查找所花总时间。(SearchTimeTree) (5),先按照user_id排序,。用不同的排序方法分别输出排序所需时间。(如果所花时间过长,请缩小数据范围,并估算最终所需的大概时间)(RankTimeId) (6),使用二分查找,随机生成2000个user_id(1~1,230,000之内的),再随机生成20个user_id(大于1,230,000的),输出查找所花总时间。(只计算查找的时间)(SearchTimeTwo) (7)设计一个哈希存储的方案,(关键字为密码);设计20个存在的密码和不存在的密码,输出该密码和出现的次数,以及查找所花总时间。(HaxiStore)实验目的通过数据结构课程设计,让我们了解8种排序的方法和运算时间,明白了大数据处理的方法,了解了哈希存储的方案以及所需查找的时间,利用二分查找随机产生的数据所需要的时间,通过这次实验,回顾了以前所学****的知识,更加掌握了数据结构的排序和算法。组员权重:蒋发明: 吴宏磊:::要求对大数据进行处理,每行包含一条记录,每条记录包含:user_id和password中间为TAB分隔。数据结构设计程序流程图文字描述:主函数主要为while循环,对应的功能号进入对应的功能,0则退出循环,每个功能都是根据学期和班级来进入相应的数据文件。详细设计全局变量有intbehind,Termt1,t2,behind用于防止输出成绩单时将未录入的学生成绩输出在程序中定义了三个类:Term,Cls,Stu,运用到了类的嵌套,学生嵌套在班级中,班级嵌套在学期里,学生类中有许多函数用于实现某些功能。在程序中还有readfile读文件函数和writetofile写文件函数,读文件函数设置为inline函数加快程序运行效率。主函数主要为一个while循环,输入相应的功能号进入相应的函数功能模块,输入0为结束,在各个功能模块开始前都会进行一次读文件操作,进行处理后将修改或者录入的数据重新写入到文件中覆盖原有数据。读写文件用到了fstream,istream和ostream。。:30-16::30-16::30-16::30-16::30-16::30-16::30-16:30答辩程序的测试实验心得本次课程设计我们所设计的程序是大数据处理,在做本次设