基于体感技术的多媒体交互系统-集成电路工程专业毕业论文.docx

DissertationSubmittedtoHangzhouDianziUniversityfortheDegreeofMasterMultimediaInteractiveSystemBasedonSomatosensoryTechnologyCandidate: HuJingjingSupervisor: ProfessorZhouLeiMarch,2015杭州电子科技大学学位论文原创性声明和使用授权说明原创性声明本人郑重声明:所呈交的学位论文,是本人在导师的指导下,独立进行研究工作所取得的成果。除文中已经注明引用的内容外,本论文不含任何其他个人或集体已经发表或撰写过的作品或成果。对本文的研究做出重要贡献的个人和集体,均已在文中以明确方式标明。申请学位论文与资料若有不实之处,本人承担一切相关责任。论文作者签名: 日期: 年 月 日学位论文使用授权说明本人完全了解杭州电子科技大学关于保留和使用学位论文的规定,即:研究生在校攻读学位期间论文工作的知识产权单位属杭州电子科技大学。本人保证毕业离校后,发表论文或使用论文工作成果时署名单位仍然为杭州电子科技大学。学校有权保留送交论文的复印件,允许查阅和借阅论文;学校可以公布论文的全部或部分内容,可以允许采用影印、缩印或其它复制手段保存论文。(保密论文在解密后遵守此规定)论文作者签名: 日期: 年 月 日指导教师签名: 日期: 年 月 日摘 要近些年来,随着自然人机交互技术的发展,体感技术以及多媒体系统得到了广泛的关注和研究。传统的多媒体系统一般为触摸式广告机,主要停留在单向广播的方式,无法通过交互式体验来实现更为精准的信息的投放。因此,如果把体感技术应用到多媒体系统的话,将会增加系统的交互性和多样性。其中,体感技术中的手势就是一种很自然的人机交互方式。本文通过集成当今信息技术领域领先的体感技术、增强现实技术、3D深度骨架关节定位技术以及大尺寸触屏技术,实现了一款集广告展示、产品介绍、以及动态虚拟真人试衣等多种功能为一体的综合智能产品展示和项目宣传系统,是一款集成多种高科技技术的新型体感多媒体交互系统。本文首先从Kinect智能体感设备捕捉到整个人体的深度图像,然后进行动静分离、识别人体,将人体从复杂的背景中分离出来,再对人体的深度信息进行阈值分割,分割出人体的手掌部分,并结合人体的骨骼信息中的手部节点完成静态手势的识别。接着,分析了三类主流的动态手势识别算法,本文选用了在语音识别领域广泛使用的隐马尔科夫模型(HMM)算法进行动态手势识别,并通过静态手势识别和动态手势识别的结合,提高了手势识别的准确性。然后,利用已实现的手势识别以及Kinect的骨骼跟踪技术,实现了“空气鼠标”的功能,仅通过人体手势就可以隔空操作多媒体系统,不需要触控,可打破一般多媒体系统无法进行互动的局限性。并基于此实现了系统中多媒体信息互动展示的功能,包括音频视频播放、图片浏览、幻灯片控制、体感试衣镜系统等,其中,体感试衣镜系统能够智能量衣,衣服尺寸随着用户的体型变化而变化,并且衣随人走,达到如同现实中穿着样衣在镜前试衣的效果。同时,对于多媒体信息的传递,也不再局限于单一的播放形式,增加了信息传播的多样性。关键词:体感技术,多媒体系统,手势识别,Kinect,深度图像,隐马尔科夫模型IAbstractInrecentyears,puterinteractiontechnology,,andkeepinaone-waybroadcastmode,,ifthesomatosensorytechnologyisappliedtomultimediasystems,,'sleadingsomatosensorytechnology,augmentedreality,3Ddepthskeletonjointpositioningtechnologyandlarge-sizetouch-screentechnology,itachiev