基于投影仪-红外摄像机的多点触控系统.pdf

浙江大学计算机科学与技术学院
硕士学位论文
基于投影仪-红外摄像机的多点触控系统
姓名:陈成钱
申请学位级别:硕士
专业:计算机软件与理论
指导教师:鲍虎军;华炜
20080601
。多点触控技术定义为:在计算机生成的交互式虚拟场景中,用户通过手势、手指或其他外在物理物直接与电脑进行交互,实现多点、多用户,同一时间直接与虚拟的环境交互,使户感觉到沉浸于其中。本文以投影仪为显示设备,以红外摄像机为光学传感器,设计并实现了一个多点触控系统。多个用户通过该系统,采用手、手指、其他物理物与投影在桌面的信息进行交互。为了满足多点触控系统实时、多点的交互要求,我们设计一个有效的目标识别跟踪算法。首先,通过几何变换,建立帧缓存和摄像机图像空间中投影区域的几何映射关系,将拍摄到的图像变换到帧缓存的几何空间下;接着采用背景减除法分割变换后的图像,标记连通成分,分别提取各个连通成分的轮廓图及计算方向包围盒,并跟踪之;然后根据肤色模型,从连通成分中提取掌心的几何位置,利用轮廓点和掌心的距离关系分别将各个二维轮廓图转化为~维波形,并计算波形的极值点酥讣獾恪⑹种讣湎嗔,根据数学知识和手指构造,在轮廓图中提取手指的长、宽、指尖的展角和手指间的夹角等特征信息;最后采用神经网络识别手指,分为手指和非手指两类,区分手指端和手臂端。关键词:多点触控,手指识别,计算机视觉,图像处理,人机交互,跟踪浙江大学硕士学位论文
瑃琲:現猅浙江大学硕士学位论文,,琺瑆瑃,籺—,,·.,,,琓
图目录图人机交互的媒介物⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.图多点触控墙面系统⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.图智能触控桌面⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯..图基于投影仪一红外摄像机的多点触控系统⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图透视投影到图像的一般模型⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图基于投影仪一红外摄像机多点触控系统的几何模型⋯⋯⋯⋯⋯⋯⋯.图图像变换间关系⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图左:摄像机拍摄的图像右:变换后的图像⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图人手的构造⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图图像中分割出的人手⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图人手中分割出的手掌⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图边界提取算子⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图轮廓图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图一维波形⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图波形图的极值点⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图轮廓图的极值点⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图提取特征信息计算过程⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图侗鹬讣獾慕峁图卣魈崛∷惴ā图模式识别系统⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图结构识别后的指尖结果⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图线性判别函数⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图线性分类后的指尖结果⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图前馈神经网络⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图神经元模型⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图反向传播算法变量定义示意图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图三层前馈神经网络⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图神经网络识别后的人手图像⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图连通成分配对图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图多点触控系统流程图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图基于投影仪一红外摄像机的多点触控系统⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.图系统软件架构⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图互动演示一浏览图像⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯..图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯..浙江大学硕士学位论文
表目录表格标记前极人值点的特征信息⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯表格标记后极大值点的特征信息⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯浙江大学硕士学位论文
学位论文作者签名:储,成铵签字日期:力口晔挛学位论文作者签名:傲,状铁签字日期:≯一辍翴浙江大学研究生学位论文独创性声明学位论文版权使用授权书表或撰写过的研究成果,也不包含为获得迸姿盘堂或其他教育机构的学位或本学位论文作者完全了解逝姿盘堂有权保留并向国家有关部门或机构送交本论文的复印件和磁盘,允许论文被查阅和借阅。本人授权逝垄盘堂可本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。除了文中特别加以标注和致谢的地方外,论文中不包含其他人已经发证书而使用过的材料