下载此文档

短文本指纹的研究.docx


文档分类:IT计算机 | 页数:约62页 举报非法文档有奖
1/62
下载提示
  • 1.该资料是网友上传的,本站提供全文预览,预览什么样,下载就什么样。
  • 2.下载该文档所得收入归上传者、原创者。
  • 3.下载的文档,不会出现我们的网址水印。
1/62 下载此文档
文档列表 文档介绍
短文本指纹的研究.docx单位代码: 10293密级: 硕士学位论文申请学位类别论文提交日期二零一二年二月论文题H: 短文本指纹的研究 学号Y004091145姓名-赵小谦导师-郑彦教授学科专计算机软件与理论研究方向-数据仓库与决策支持系统工学硕士南京邮电大学学位论文原创性声明本人声明所呈交的学位论文是我个人在导师指导卞进行的研究工作及取得的研究成果。尽我所知,除了文屮特别加以标注和致谢的地方外,论文屮不包含其他人已经发表或撰写过的研究成果,也不包含为获得南京邮电大学或其它教育机构的学位或证帖而使用过的材料。少我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。本人学位论文及涉及相关资料若有不实,愿意承担一切相关的法律责任。研究牛签名: 日期: 南京邮电大学学位论文使用授权声明木人授权南京邮电大学可以保留并向国家有关部门或机构送交论文的复印件和电了文档;允许论文被查阅和借阅;可以将学位论文的全部或部分内容编入有关数据库进行检索;可以采用影印、缩印或扫描等复制手段保存、汇编木学位论文。木文电子文档的内容和纸质论文的内容相一致。论文的公布(包括刊登)授权南京邮电人学研究牛院(筹)办理。涉密学位论文在解密后适用本授权朽。研究牛签名: 导师签名: 口期:南京邮电大学硕士学位论文摘要学科、专业:工学计算机软件与理论研究方向:数据仓库与决策支持系统作 者:2009级研究生赵小谦指导教师:郑彦教授题 0:短文本指纹的研究英文题目:ResearchonTheFingerprintofShortTexts主题词:短文木指纹,领域词典,ICTCLAS分词,特征提取,语义相似度Keywords:thefingerprintofshorttext,domaindictionary,ICTCLAwordsegmentation,ffeatuTCextraction,Semanticsimilarity摘要21世纪信息技术的飞速发展,带动了全球信息网络化革命的迅猛发展。全球信息网络的普及与共享给人们的日常牛活带来了不小的便捷。除此以外,以因特网为主体的信息高速公路已经渗透到社会牛活的各个领域,为人类提供了信息共享和交流的现代化通道。移动通信网络发出的手机矩消息、即时通信软件发出的即时消息、在线聊天室的聊天记录、博客评论、新闻评论、BBS标题等都产生了数以万计的文本,这些文本长度较短,具有广泛的外延,我们称其为短文本。短文本指纹作为验证短文本的唯一标识,在短文本研究领域屮起到举足轻重的作用。只有内容相同的短文本才具有完全相同的指纹值,同理,具有相同指纹值的短文本,我们可以认为这两个短文木的内容是相同的。一旦建立起指纹值和短文本之间的一一•対应关系以后,我们就可以利用短文本指纹进行一系列的数据挖掘工作,例如聚类,去重,去冗余等。的启发,着重分析概念之间联系关系。通过比较JSON格式和XML格式的优劣,提出用JSON格式构建概念词典的可行性,并给出了构建概念词典的算法。为使该词典具有高效的检索效率,我们设计了概念编码和索引结构达到一致对应的索引表,使概念得到高效的归结。其次,采用了ICTCLAS分词技术,使短文本逐步化简为—个个有效的分词。其中比较垂要的一点是,我们对一些特殊的情况做了一定的处理,例如对数字、时间、日期、叠词进行拆分和合并,使调整优化后的分词结果具有比较高的准确率。再次,众所周知,特征值是指定领域小最为核心和本质的概念。受此启发,我们给出了特征值的定义和具体的抽取特征值的办法。在特征值提取的基础上,我们提出了短文本指纹的概念和具体的短文木指纹编码过程,即STF(ShortTextFingerprint)方法。最后,通过介绍实验环境以及主耍功能模块之间的关系來分析STF方法对研究短文木相似度的可行性,并且和现有的4种短文本相似度计算方法进行比较,验证了STF能够有效的分析出短文本的唯一性,提高后期短文本挖掘工作的准确性和有效性。关键词:短文本指纹,领域词典,ICTCLAS分词技术,特征提取,相似度计算AbstractTherapiddevelopmentofinformationtechnologyin21century,leadto ',,instantmessagesjntemetrelaychatlogs,,

短文本指纹的研究 来自淘豆网www.taodocs.com转载请标明出处.

相关文档 更多>>
非法内容举报中心
文档信息
  • 页数62
  • 收藏数0 收藏
  • 顶次数0
  • 上传人ttteee8
  • 文件大小835 KB
  • 时间2019-11-18