正常大学生唇读语音识别编码方式的实验研究.pdf

万方数据
正常大学生唇读语音识别编码方式的实验研究可以表现出不同的唇形泊交翟泊和开口度。而辅音视雷江华·孙玉梅娇∶引言笛榉椒刘昌在进行言语交流时,听力正常的人主要凭借听觉去接受和理解对方的交流信息。但是,只要有机会,听话者就会看说话者。以获得更多的有关谈话主题的信息。说话者口部的动作,面部表情、手势及周围环境等都是有价值的潜在信息源泉⋯U庵掷檬泳跣畔⒏兄S镅缘姆绞剑诹逃铣为唇读。经研究发现,聋人通过唇读进行语音识别的效果受关联的。用视素表示语音的视觉特征。一个视素就是根据一个音素的发音位置或口形划分的。视素分为元音视素和辅音视素。元音视素的可见性高。准确的发音素是根据发音部位确定,比元音要模糊¨R虼耍R艚细辅音音素的视觉形象是完全一样的,也阻碍了对辅音的视觉辨认,“例如蚉,蚹,蛁等,它们只有气流强弱的区别,而气流的强弱则根本无法看见,只有元音、、几乎各有自己独特的视觉形象¨引。所谓编码。是指人们如何将一个物理的感觉输入转换成一种能在记忆中存储的表征【行唇读语音识别的实验研究,以发现它们对唇读语音识别效被试选取武汉某大学大二学生名为实验被试。其中,男岁1皇跃W栽覆渭樱以谑笛榍把笆笛橹兴枋指语时都具备极高的热情,掌握手指语情况良好,被试均在实验设计与材料揭蛩乇皇阅谑笛樯杓啤U饬礁鲎员淞恳蛩是:嗦敕绞剑ㄓ镆舯嗦搿形运动编码和手指语编组、口形运动编码组和手指语编码组。其中每组实验材料又根据音素的三个水平分为三个小单元:单字声母单元、单字单韵母单元和单字复韵母单元。这样一共分为九个小单元。每单元实验材料包括瞿勘晔侗鹨羲兀扛瞿勘晔侗鹨羲提供龅プ质侗鹂谛巍T谀勘暌羲刂校勘晟钢蟹直鸷有/ⅲ痾/、/ⅲ痚ⅲ痲/、/勘甑ピ夏钢蟹直鸷校痑/、/⑻耄/、/ⅲ痭/,目标复韵母中分别含有//、//、/到国家普通话甲级标准的女性教师通过朗读提供,经由索尼摄像机录制并剪辑而成。摄像机定位说话者脸部及其主要特征,提取与发音有关的视觉特征。实验过程在电脑上完成,每组实验之前都有相应的指导语和练****以使被试熟悉实验分以下几个步骤进行:手指语的培训:在参加实验之前的一周内,每个被试均接受了实验中所涉及到的手指语的简单培训,并且分发了相关的手指语资料以供被试自己练****掌握。被试的分组:根据实验材料的不同顺序,将被试随机分为三组,每个小组的被试在性别、年龄、普通话水平上大致匹实验材料的施测:分三阶段进行。第一阶段:主试首先对第一小组的被试进行语音编码测试,按照声母、单韵母、复韵母测试单元依次进行;对第二小组的被试进行口形运动编码测试,按照复韵母、单韵母、声母测试单元依次进行;对第三小组进行手指语编码测试,按照单韵母、复韵母、声母测试单元依次进行。第二阶段:一周后,主试首先对第一小组被试进行口形运动编码测试,按照单韵母、复韵母、声母测试单元依次进行;对第组被试进行手指语编码测试,按照声母、单韵母、复韵母测试单元依次进行;对第三小组被试进行语音编码测试,按照复韵母、单韵母、声母测试单元依次进行。第三阶段:再一周后,主试首先对第一小组进行手指语编码测试,按照复韵母、单韵母、声母测试单元依次进行;对第二小组进行语音编码测试,按照单韵母、复韵母、声母测试单元依次进行;对第三小组进行卧硕嗦氩馐裕凑丈母、单韵母、复韵母测试单元依次进行。在语音编码的测试中,由电脑在屏幕左边呈现出测试者提供的一个单字一次连续发音