社会基础数据分析挖掘系统关键技术的研究实现.pdf

分类号:2密级:2UDC:2编号:2专业硕士学位论文(工程硕士)社会基础数据分析挖掘关键技术的研究与实现哈尔滨工程大学2014年4月硕士研究生:王一鹏指导老师企业导师:曲立平副教授:张伟滨高级工程师工程领域:计算机技术论文主审人:张万松副教授万方数据万方数据分类号:2密级:2UDC:2编号:2专业硕士学位论文(工程硕士)社会基础数据分析挖掘系统关键技术的研究与实现硕士研究生:王一鹏指导教师企业教师:曲立平副教授:张伟滨高级工程师学位级别:工程硕士学科、专业:计算机技术所在单位:黑龙江省政府外联办论文提交日期:2014年3月论文答辩日期:2014年4月学位授予单位:哈尔滨工程大学万方数据万方数据Classified Index::A Dissertation for the Professional Degree of Master(Master of Engineering)Research And Implement On The Key Technology OfAnalysis AndDatamingOn The Social Basic DataCandidate:Wang YipengSupervisor:Vice Prof. Qu LipingBusiness Supervisor:Senior Engineer Zhang WeibinAcademic Degree Applied for:Master Of EngineeringSpecialtyDate of Submission:P :Computer Technology:March,2014Date of Oral Examination:J :April, 2014University:H :Harbin Engineering University万方数据万方数据哈尔滨工程大学学位论文原创性声明本人郑重声明:本论文的所有工作,是在导师的指导下,由作者本人独立完成的。有关观点、方法、数据和文献的引用已在文中指出,并与参考文献相对应。除文中已注明引用的内容外,本论文不包含任何其他个人或集体已经公开发表的作品成果。对本文的研究做出重要贡献的个人和集体,均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。作者(签字):日期:年月日哈尔滨工程大学学位论文授权使用声明本人完全了解学校保护知识产权的有关规定,即研究生在校攻读学位期间论文工作的知识产权属于哈尔滨工程大学。哈尔滨工程大学有权保留并向国家有关部门或机构送交论文的复印件。本人允许哈尔滨工程大学将论文的部分或全部内容编入有关数据库进行检索,可采用影印、缩印或扫描等复制手段保存和汇编本学位论文,可以公布论文的全部内容。同时本人保证毕业后结合学位论文研究课题再撰写的论文一律注明作者第一署名单位为哈尔滨工程大学。涉密学位论文待解密后适用本声明。本论文(□在授予学位后即可□在授予学位12个月后□解密后)由哈尔滨工程大学送交有关部门进行保存、汇编等。作者(签字):导师(签字):日期:年月日年月日万方数据万方数据社会基础数据分析挖掘系统的研究与实现摘要数据挖掘是解决海量数据模式识别的重要途径,数据挖掘本身就是面向应用的技术,当前信息社会各行各业的决策者们对于隐藏于海量数据中的信息前所未有的渴求,这两者的结合越来越普遍,带来的效益越来越明显。纵观国内外数据挖掘技术在国家与公共安全领域的应用并不多,产生实际结果并且能推动相关工作开展的研究比较有限。本文提出了“松散关系”方法并与关联规则挖掘结合起来,设计实现了基础数据关联规则挖掘系统,将实际工作需求与数据挖掘技术结合起来,在海量基础数据中进行了探索,为能够利用挖掘来解决实际业务问题进行了有效尝试,在本行业内社会基础数据深层利用的理论与实践方面都具有十分重要的意义。本文根据调查工作实际需求,提出了利用定义“松散关系”来度量基础数据间的关系的方法,设定了具有异常特点的阈值,进一步阐述了“松散关系”与业务工作的关系,提出了运用关联规则方法挖掘隐含在基础数据中的具有松散关系性质的人群。设计并实现了基础数据关联规则挖掘系统,该系统主要分为三个模块:数据抽取和预处理模块、关联规则挖掘模块和松散关系判定模块。数据抽取和预处理模块的功能主要是提取和转换挖掘任务需要的数据;关联规则挖掘模块完成对数据的挖掘并对结果进行一定的组织;业务用户通过判定模块对挖掘结果的有效性及可用性进行判定。基础数据种类庞杂,数量巨大,针对具体业务问题的挖掘效率面临着严峻考验。本文根据挖掘任务特点,对Apriori挖掘方法进行了一定改进,直接在每条事务内进行自连接,形成候选项集,有效减少了无效候选项集的生成,提高了挖掘效率。本研究利用挖掘系统对真实基础数据进行了挖掘实验,并对结果进行了详细